[論文レビュー] Mining Legal Arguments in Court Decisions

Ivan Habernal, Daniel Faber+5 more|arXiv (Cornell University)|Aug 12, 2022

Artificial Intelligence in Law被引用数 6

ひとこと要約

本稿は、欧州人権裁判所（ECHR）判決における法的主張のための理論的根拠に基づいた新しいアノテーションスキームを提案し、373件のアノテート済み事例（230万トークン、1万5千件の主張スパンを含む）からなる大規模コーパスを構築し、RoBERTa-Largeをベースにした主張抽出モデルを提案する。このモデルは、ドメイン適応型事前学習を経て、最先端の法的NLPモデルを上回る性能を発揮する。専門家による評価により、一般的な主張タイプでは特に強固であることが確認されたが、文脈が限られる稀なタイプについては依然として課題が残る。

ABSTRACT

Identifying, classifying, and analyzing arguments in legal discourse has been a prominent area of research since the inception of the argument mining field. However, there has been a major discrepancy between the way natural language processing (NLP) researchers model and annotate arguments in court decisions and the way legal experts understand and analyze legal argumentation. While computational approaches typically simplify arguments into generic premises and claims, arguments in legal research usually exhibit a rich typology that is important for gaining insights into the particular case and applications of law in general. We address this problem and make several substantial contributions to move the field forward. First, we design a new annotation scheme for legal arguments in proceedings of the European Court of Human Rights (ECHR) that is deeply rooted in the theory and practice of legal argumentation research. Second, we compile and annotate a large corpus of 373 court decisions (2.3M tokens and 15k annotated argument spans). Finally, we train an argument mining model that outperforms state-of-the-art models in the legal NLP domain and provide a thorough expert-based evaluation. All datasets and source codes are available under open lincenses at https://github.com/trusthlt/mining-legal-arguments.

研究の動機と目的

• NLP研究者が法的主張を単純な前提と主張としてモデル化する一方で、法的専門家が実際には豊富な主張タイプの体系的理解を用いているというギャップを是正する。
• 法的理論と実務に基づいて、現実の法的推論に忠実なECHR判決のための新しいアノテーションスキームを設計する。
• 3条、7条、8条をカバーする373件のECHR判決からなる、高品質で大規模なコーパスを収集・アノテートし、1万5千205件の主張スパンをアノテートする。
• 既存のモデルを上回る性能を示す最先端の主張抽出モデルを訓練・評価する。
• ECHR事務局が定めたケースの重要度と、特定の法的主張パターンとの相関関係を調査する。

提案手法

• 法的理論に基づき、15種類の異なる主張タイプ（例：「判例法の適用」、「必要性／割合性」、「余地の広さ」など）を含む、ECHR判決における法的主張のための新しいアノテーションスキームを開発した。
• 専門家法的アノテーターを用いて373件のECHR判決（230万トークン）をアノテートし、高い相互アノテーター整合性と法的学説との整合性を確保した。
• ECHRコーパスで微調整した後、ヨーロッパの法的テキストでさらに事前学習することで、ドメイン適合性と性能を向上させたRoBERTa-Largeを微調整した。
• 新しいアノテーションスキームを用いて、主張スパンの同定と分類を行う系列ラベル付けモデルを訓練し、専門家による検証を経た指標で性能を評価した。
• 教師あり線形モデル（SVM）を用いて、主張タイプの分布がECHRケースの重要度を予測できるかを調査した。
• アノテーションにはINCEpTIONプラットフォームを用い、信頼性と一貫性を確保するための厳密な整合性評価と反復的パイロットテストを実施した。

実験結果

リサーチクエスチョン

• RQ1 法的主張理論は、裁判所判決のディス course アノテーションスキームにどれほど信頼性を持って実装可能か？
• RQ2 ECHR判決における多様な法的主張タイプに普遍的に適応する、強固な主張抽出モデルをどのように構築できるか？
• RQ3 標準的な微調整と比較して、ドメイン適応型事前学習は、法的テキストにおける主張抽出の性能を顕著に向上させるか？
• RQ4 判決内の主張タイプの分布は、ECHR事務局が定めた重要度レベルを予測できるか？
• RQ5 一般的なタイプと稀なタイプの間で、モデルの性能と誤りパターンはどのように異なるのか？文脈は果たす役割は何か？

主な発見

• ECHRコーパスで微調整し、ヨーロッパの法的テキストでさらに事前学習したRoBERTa-Largeモデルは、最先端の性能を達成し、ベースラインモデルと比較して主張タイプ予測で最大11%の向上を示した。
• 十分な文脈が提供されれば、一般的な主張タイプ（例：「判例法の適用」、「必要性／割合性」）では良好な性能を発揮するが、訓練信号が不足するため、稀なタイプでは困難を示している。
• 異なるECHR条項の判決間での一般化において、性能が最大27%低下した。これは、法的規定ごとに主張のパターンに顕著な差が存在することを示している。
• 専門家分析により、稀な主張タイプにおけるモデルの誤りは、文脈不足に起因することが多く、その場合、モデルの予測がゴールスタンダードのアノテーションよりも説得力がある場合さえあった。
• ケースの重要度を予測するSVMモデルは、強い識別能力を示さず、ECHR判決が認識される重要度に関係なく一貫した基準を維持していることを示唆している。大多数のケースでは、類似した主張タイプの分布を示している。
• 全データセットとコードはオープンライセンスのもとで公開されており、再現性と法的主張抽出分野におけるさらなる研究を可能にしている。