[論文レビュー] AutoLAW: Augmented Legal Reasoning through Legal Precedent Prediction

Robert Mahari|arXiv (Cornell University)|Jun 30, 2021

Artificial Intelligence in Law参考文献 15被引用数 8

ひとこと要約

本論文は、米国連邦裁判所の判例文書から法的主張に基づいて関連する判例文書を予測する自然言語処理（NLP）タスクである法的先例予測（LPP）を紹介する。微調整されたBERTモデルを用い、53万件の例で学習させた結果、未知のケースにおいてトップ10の再現率が96％に達し、上級判事エレナ・カガンが複雑な法的草案で使用した引用を正確に予測した。

ABSTRACT

This paper demonstrate how NLP can be used to address an unmet need of the legal community and increase access to justice. The paper introduces Legal Precedent Prediction (LPP), the task of predicting relevant passages from precedential court decisions given the context of a legal argument. To this end, the paper showcases a BERT model, trained on 530,000 examples of legal arguments made by U.S. federal judges, to predict relevant passages from precedential court decisions given the context of a legal argument. In 96% of unseen test examples the correct target passage is among the top-10 predicted passages. The same model is able to predict relevant precedent given a short summary of a complex and unseen legal brief, predicting the precedent that was actually cited by the brief's co-author, former U.S. Solicitor General and current U.S. Supreme Court Justice Elena Kagan.

研究の動機と目的

• 訴訟コストの削減と正義へのアクセスの向上を目的として、法律分野における先例特定の未解決課題に対処すること。
• 法律専門家を置き換えず、むしろ補完する実用的なNLPソリューションを開発し、法律研究のスピードと正確性を向上させること。
• 司法判例文書を学習データとして用いることで、高い正確性で関連する先例文書を予測できるNLPモデルを構築できることを示すこと。
• 社会的影響が明確な現実世界の法律的タスクに注力することで、NLP研究と法律実務の溝を埋めること。
• 支援が不足している法律的当事者（公設弁護人や低所得の訴訟当事者を含む）が利用可能なスケーラブルでコスト効率の良いツールを提供すること。

提案手法

• 米国連邦司法判例文書から抽出した53万件の法的主張-先例ペアを用いて、BERTベースのモデルを微調整する。
• 法的主張文脈（例：事件の背景、法的問題、基準の適用）を入力表現として用い、関連する先例文書を予測する。
• モデルが候補となる先例文書を関連性の高い順にランク付けする多クラス分類タスクとしてLPPを定式化する。
• BERTの文脈的埋め込みを活用し、法的主張と先例言語の間の意味的関係を捉える。
• 未知のテスト例において、再現率（例：トップ10）を用いてモデルのパフォーマンスを評価し、情報検索効果を測定する。
• 実際の法的草案（上級判事エレナ・カガンが共同作成）を用いて汎化性能を検証し、実際に引用された先例を予測する。

実験結果

リサーチクエスチョン

• RQ1 法的主張の文脈が与えられた場合、NLPモデルは司法判例文書から関連する先例文書を正確に予測できるか？
• RQ2 特に著名な法的推論を含む複雑な未知の法的草案に対して、モデルの汎化性能はどの程度高いか？
• RQ3 LPPは弁護士や法律専門家による法的調査に要する時間とコストをどの程度削減できるか？
• RQ4 自動化された先例予測に依存することによる、失敗モードと倫理的リスクは何か？
• RQ5 LPPは、頻繁に引用されないが意味的に関連性のある先例文書を特定するのにも拡張可能か？

主な発見

• BERTベースのLPPモデルは、トップ10再現率が96％に達し、未知のテストケースの96％で正しい先例文書が上位10件内に含まれることを示した。
• モデルは、未知の複雑な法的草案において、上級判事エレナ・カガンが実際に引用した先例を正しく予測し、現実世界の法的推論に強い汎化性能を示した。
• モデルのパフォーマンスは、弁護士が法的調査に費やす時間が現在、アソシエートの勤務時間の最大3分の1を占めることを踏まえると、大幅な時間短縮が可能であることを示唆している。
• 高水準の法的草案からの引用予測が可能なことから、モデルは基本的な検索をはるかに超えた高度な法的推論タスクを支援できることを示している。
• 結果から、NLPを法的先例予測に意味的に適用できることが実証され、正義へのアクセスを高める実用的で前向きな道筋が示された。
• 強力なパフォーマンスにもかかわらず、モデルは頻繁に引用される文書に限定されており、今後の研究で新規または引用が少ないが関連性のある先例の特定に取り組む必要があることが浮き彫りになった。