[論文レビュー] Prototype-Based Interpretability for Legal Citation Prediction

Chu Fei Luo, Rohan Bhambhoria+2 more|arXiv (Cornell University)|May 25, 2023

Artificial Intelligence in Law被引用数 4

ひとこと要約

本稿は、判例と法規条文を入力として統合するなどして弁護士の推論をモデル化することで、法的引用予測（LCP）のためのプロトタイプベースの解釈可能性フレームワークを導入する。修正されたプロトタイプアーキテクチャを用いることで高い性能を達成し、専門家からのフィードバックとアブレーションスタディによって妥当性が検証された。これは、高リスクな法的NLPタスクにおけるプロトタイプベース手法の初の適用である。

ABSTRACT

Deep learning has made significant progress in the past decade, and demonstrates potential to solve problems with extensive social impact. In high-stakes decision making areas such as law, experts often require interpretability for automatic systems to be utilized in practical settings. In this work, we attempt to address these requirements applied to the important problem of legal citation prediction (LCP). We design the task with parallels to the thought-process of lawyers, i.e., with reference to both precedents and legislative provisions. After initial experimental results, we refine the target citation predictions with the feedback of legal experts. Additionally, we introduce a prototype architecture to add interpretability, achieving strong performance while adhering to decision parameters used by lawyers. Our study builds on and leverages the state-of-the-art language processing models for law, while addressing vital considerations for high-stakes tasks with practical societal impact.

研究の動機と目的

• 既存の法的引用予測モデルが事実のみに依存し、弁護士が判例と法規条文を用いてどのように推論するかを反映しないという、解釈可能性の欠如に対処する。
• 法的引用予測を、判例（先例）と立法規定（法規条文）の両方から出発する法的推論に基づくタスクとして再定式化することで、実務家のワークフローとより整合させる。
• 引用の代表的例（プロトタイプ）を学習することで、ユーザーが既知の法的根拠との類似性に基づいて意思決定を追跡できるようにする、解釈可能性を高めたプロトタイプベースの深層学習アーキテクチャを開発する。
• 法律専門家のフィードバックを統合してタスク定義を精緻化し、モデルの関連性を向上させることで、高リスクなAI応用における多様な分野の協働の価値を示す。
• 精度を超えた実用的価値を評価するため、入力の摂動と潜在空間解析を用いてモデルの挙動を分析し、法的推論パターンと整合していることを確認する。

提案手法

• 法的問題（事実から要約されたもの）と参照資料（先例と法規条文）を入力として含む、新たなタスク「法的引用予測（LCP）」を定義する。これは弁護士が主張を構築する方法を模倣する。
• 各引用を埋め込み空間内のプロトタイプベクトルとして表現し、入力表現とプロトタイプ間のコサイン類似度に基づいて予測を行う、プロトタイプベースのニューラルアーキテクチャを実装する。
• 関連する先例と法規条文との類似度を強化することで法的推論に整合させるように、交差エントロピーとプロトタイプ対照損失の重み付き組み合わせを用いた修正された損失関数を導入する。
• k-meansクラスタリングを用いてプロトタイプを初期化し、類似度の維持を前提に、引用予測の最適化を図る微調整を実施する。
• 入力の摂動と潜在空間解析を適用して、モデルの頑健性と解釈可能性を評価し、予測が法的文脈の変化に敏感であることを確認する。
• 専門家が検証済みの引用を含むキュレートされたデータセットを用いてモデルを訓練・検証し、損失ではなく検証用マクロF1スコアに基づいて最良のモデルを選択することで、トレーニング中のモデル崩壊を回避する。

実験結果

リサーチクエスチョン

• RQ1 弁護士が判例と法規条文の両方を根拠として使用するという実際の推論プロセスを反映するには、法的引用予測をどのように再定式化できるか？
• RQ2 事実のみを入力とするベースラインと比較して、法的先例と法規条文を入力に組み込むことで、モデルの性能と解釈可能性はどの程度向上するか？
• RQ3 プロトタイプベースのアーキテクチャは、人間の専門家がモデルの意思決定を解釈・検証できるように、法的引用予測を効果的にモデル化できるか？
• RQ4 専門家のフィードバックは、高リスクな法的NLPタスクにおけるタスク定義の精緻化とモデル性能にどのように影響を与えるか？
• RQ5 法的引用予測において、性能と解釈可能性のトレードオフは何か。また、プロトタイプ手法は実際の現場でこれらをどのようにバランスさせるか？

主な発見

• 専門家からのフィードバックを反映させた本稿のLCPタスクは、事実のみを入力とするベースラインと比較して、予測された引用の関連性と実用的価値が顕著に向上した。
• プロトタイプベースのアーキテクチャは、既知の法的根拠との類似性に基づく推論によって、法的引用予測において高い性能を達成するとともに、解釈可能性を確保した。
• 入力の摂動と潜在空間解析の結果、モデルの予測が法的文脈の変化に敏感であることが確認され、人間の推論パターンと整合していることが裏付けられた。
• モデルの性能は手続き的（容易）な引用では高く、非手続き的（困難）な引用では低く、法的引用予測における長尾課題が依然として解決されていないことを示している。
• 不安定なk-means初期化と損失関数のダイナミクスが原因でトレーニング中にモデル崩壊が観察されたが、損失ではなくマクロF1スコアに基づいて最良のモデルを選択することで解決された。
• 本システムは一般の人々の使用を想定したものではなく、法律専門家を対象として設計されており、解釈可能性のおかげで専門家が類似した既知の法的権威に基づいて予測を検証または拒否できる。