[論文レビュー] An External Knowledge Enhanced Multi-label Charge Prediction Approach with Label Number Learning

Wei Duan, Lin Li|arXiv (Cornell University)|Jul 4, 2019

Artificial Intelligence in Law参考文献 35被引用数 8

ひとこと要約

本論文は、法律条文埋め込みと学習可能な数の学習ネットワーク（NLN）を統合することで、最適なラベル数としきい値を自動で予測する外部知識強化型マルチラベル罪名予測フレームワークを提案する。この手法は、大規模な中国語法的データセット上で複数の最先端モデルに対して、マクロ基準で3%-5%、ミクロ基準で5%-15%のF1スコア向上を達成する。

ABSTRACT

Multi-label charge prediction is a task to predict the corresponding accusations for legal cases, and recently becomes a hot topic. However, current studies use rough methods to deal with the label number. These methods manually set parameters to select label numbers, which has an effect in final prediction quality. We propose an external knowledge enhanced multi-label charge prediction approach that has two phases. One is charge label prediction phase with external knowledge from law provisions, the other one is number learning phase with a number learning network (NLN) designed. Our approach enhanced by external knowledge can automatically adjust the threshold to get label number of law cases. It combines the output probabilities of samples and their corresponding label numbers to get final prediction results. In experiments, our approach is connected to some state of-the art deep learning models. By testing on the biggest published Chinese law dataset, we find that our approach has improvements on these models. We future conduct experiments on multi-label samples from the dataset. In items of macro-F1, the improvement of baselines with our approach is 3%-5%; In items of micro-F1, the significant improvement of our approach is 5%-15%. The experiment results show the effectiveness our approach for multi-label charge prediction.

研究の動機と目的

• マルチラベル法的罪名予測におけるラベル数選択の不一致および人的介入の問題に対処する。
• 法律条文からの外部法的知識を統合することで、法的NLPにおけるマルチラベルテキスト分類性能を向上させる。
• 学習可能な数の学習ネットワーク（NLN）を用いてしきい値とラベル数の予測を自動化し、ヒューリスティック戦略への依存を低減する。
• 特にレアなマルチラベルケースにおいて、不均衡なマルチラベル法的データセットにおけるモデルの汎化性能と正確性を向上させる。
• NLNを用いたエンドツーエンド学習を可能にしつつ、既存のディープラーニングアーキテクチャとの互換性を維持する。

提案手法

• 法的条文のテキストを外部知識として統合し、法的事件記述の入力表現を豊かにする。
• ラベル確率のバックプロパゲーションに基づいて、各ラベルごとに適応的しきい値を学習する数の学習ネットワーク（NLN）を設計する。
• NLN内に特殊な埋め込み層を構築し、サンプル固有の確率分布に基づいて意思決定しきい値を動的に調整する。
• ベースモデルからの出力確率とNLNによる予測ラベル数を組み合わせ、最終的なマルチラベル予測を生成する。
• ベースモデルと同時にNLNをエンドツーエンドで学習させ、分類とラベル数推定の共同最適化を可能にする。
• ベースモデルとNLNの両方の共同学習をサポートする損失関数を用い、マルチラベル設定における予測の一貫性を向上させ、誤差を低減する。

実験結果

リサーチクエスチョン

• RQ1 法的条文からの外部法的知識は、法的テキスト分類におけるマルチラベル罪名予測性能を向上させることができるか？
• RQ2 学習可能な数の学習ネットワーク（NLN）は、固定しきい値またはトップ-k戦略に比べてラベル数予測で優れているか？
• RQ3 提案手法は、特にレアまたは高複雑度のケースにおいて、マルチラベル予測の誤差をどの程度低減するか？
• RQ4 NLNベースの手法は、多様なディープラーニングモデルにおいて、標準的なしきい値戦略と比較してマクロ-F1およびミクロ-F1スコアをどのように向上させるか？
• RQ5 NLNは、法的罪名予測を越えた他のマルチラベルNLPタスクにも一般化可能か？

主な発見

• 標準的なしきい値ベースの予測と比較して、全テストベースラインモデルにおいてマクロ-F1スコアが3%-5%向上した。
• 全モデルにおいてミクロ-F1スコアが5%-15%向上し、全体的な予測精度と頑健性の向上を示している。
• TextCNNベースのモデルはNLNを統合した際に、最高のミクロ-F1（86.23%）とマクロ-F1（77.50%）を達成し、すべてのベースラインを上回った。
• NLNは最適なしきい値をエンドツーエンドで学習することで、人的なハイパーパramータチューニングを効果的に低減し、不均衡なマルチラベルデータにおける汎化性能を向上させた。
• 従来の戦略が低確率スコアのため失敗しがちな、レアなマルチラベルサンプルにおいて、性能が顕著に向上した。
• 法的条文埋め込みとNLNの統合により、特に複数の罪名を含む複雑なケースにおいて、より正確で意味論的に根拠のあるラベル予測が可能になった。