[論文レビュー] Exploiting Contrastive Learning and Numerical Evidence for Confusing Legal Judgment Prediction

Leilei Gan, Baokui Li+6 more|arXiv (Cornell University)|Nov 15, 2022

Artificial Intelligence in Law被引用数 4

ひとこと要約

本稿では、MoCoに基づく教師あり対照的学習と、NERを用いた弱教師付き数値的証拠抽出を組み合わせる新規フレームワークを提案し、曖昧なケースにおける法的判断予測（LJP）の性能を向上させる。同時に判例の判決内容を識別し、犯罪総額を正確に特定することで、特に曖昧な罪名や罰則条項予測において最先端の性能を達成し、最も困難なケースでF1スコアが2.55ポイント向上した。

ABSTRACT

Given the fact description text of a legal case, legal judgment prediction (LJP) aims to predict the case's charge, law article and penalty term. A core problem of LJP is how to distinguish confusing legal cases, where only subtle text differences exist. Previous studies fail to distinguish different classification errors with a standard cross-entropy classification loss, and ignore the numbers in the fact description for predicting the term of penalty. To tackle these issues, in this work, first, we propose a moco-based supervised contrastive learning to learn distinguishable representations, and explore the best strategy to construct positive example pairs to benefit all three subtasks of LJP simultaneously. Second, in order to exploit the numbers in legal cases for predicting the penalty terms of certain cases, we further enhance the representation of the fact description with extracted crime amounts which are encoded by a pre-trained numeracy model. Extensive experiments on public benchmarks show that the proposed method achieves new state-of-the-art results, especially on confusing legal cases. Ablation studies also demonstrate the effectiveness of each component.

研究の動機と目的

• 法的判断予測（LJP）において、テキスト的・数値的差が微細な曖昧なケースを区別する課題に対処すること。
• 特に高リスクの曖昧さを伴うケースにおいて、罪名、適用法条項、罰則条項の予測精度を向上させること。
• すべての誤分類を同一に扱う標準的な交差エントロピー損失の限界を克服し、曇りの強い罪名を含む場合に特に効果的にする。
• 非構造化の事実記述から犯罪総額を自動で抽出・符号化することで、罰則条項予測を向上させること。
• すべての3つのLJPサブタスクを同時に効果的に支援する、モデルに依存しないフレームワークを構築すること。

提案手法

• 非構造化の法的事実記述から関連する数値を特定するため、犯罪総額抽出を命名エンティティ認識（NER）タスクとして形式化する。
• 事前学習済みの数値エンコーダーを採用し、数値的意味を保持するとともに、抽出された犯罪総額を罰則条項予測ヘッドに統合する。
• 大規模なキューを用いたモーメンタムベースの対照的学習戦略を導入し、高エントロピー分類タスクにおけるデータ不足を補う。
• 3つのタスク（罪名、法条項、罰則条項）の表現を同時に一致させることで、全タスクに利益をもたらすマルチタスク正例ペア構築戦略を設計する。
• MoCoに基づく教師あり対照的学習を適用し、同じ法的ケースの表現を近づけつつ、曇りの強いケースの表現を遠ざける。
• ハイパーパrameter λ を用いて、対照的学習と分類のトレードオフを最適化し、マルチタスク目的関数における損失寄与度をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 モーメンタムキューを用いた教師あり対照的学習は、変動性が高く、曇りの強い状況下でも表現学習を向上させることができるか？
• RQ2 NERを用いた弱教師付き数値的証拠抽出は、金融的・数値に敏感なケースにおける罰則条項予測に顕著な向上をもたらすか？
• RQ3 統一された対照的学習戦略は、矛盾した監視信号が生じるおそれがあるにもかかわらず、3つのサブタスク（罪名、法条項、罰則条項）を同時に効果的に支援できるか？
• RQ4 抽出された数値的証拠の統合は、罰則条項予測の向上に与える影響が、対照的学習に比べて顕著に大きいのか？
• RQ5 マルチタスクLJPにおける正例ペアの構築に最適な戦略は何か？特に、同じ罪名でも法条項や罰則条項が異なるケース（「矛盾現象」）を回避するには？

主な発見

• 提案手法は、実世界の中国語LJPデータセットにおいて、新たな最先端性能を達成し、特に曇りの強いケースの予測において顕著な優位性を示した。
• NeurJudge+に適用した結果、曇りの強い罪名予測のF1スコアが2.55ポイント向上し、微細なケース差の区別に強いロバストネスを示した。
• 抽出された数値的証拠の統合により、最も困難な罰則条項予測でF1スコアが2.55ポイント向上し、対照的学習部のみを用いた場合を上回った。
• アブレーションスタディの結果、数値的証拠抽出と対照的学習の両方が不可欠であり、特に罰則条項予測において数値的証拠抽出の影響がより強いことが確認された。
• モーメンタム対照キューは、119の罪名クラスという多数の分類クラスを考慮すると、大規模かつ安定した負例セットを提供することで、性能を顕著に向上させた。
• 定性的な事例スタディでは、曇りの強い罪名の誤分類を正しく是正し、正確に抽出された犯罪総額に基づいて罰則条項を的確に予測していることが確認された。