[論文レビュー] JUSTICE: A Benchmark Dataset for Supreme Court's Judgment Prediction

Mohammad Alali, Shaayan Syed+3 more|arXiv (Cornell University)|Dec 6, 2021

Artificial Intelligence in Law被引用数 7

ひとこと要約

本論文は、8,200件の米国最高裁判所事件を含み、事実、投票結果、判決タイプがアノテートされたベンチマークデータセットであるJUSTICEを紹介する。このデータセットは、自然言語処理（NLP）モデルによる司法判断の予測を可能にするために設計されている。データ品質の課題やタスクの曖昧さにもかかわらず、BERT や LSTM といったモデルの訓練が可能である一方、事件要約に含まれる信号が不足しているため、論争の大きさ（ controversialness ）の予測は効果が得られなかった。

ABSTRACT

Artificial intelligence is being utilized in many domains as of late, and the legal system is no exception. However, as it stands now, the number of well-annotated datasets pertaining to legal documents from the Supreme Court of the United States (SCOTUS) is very limited for public use. Even though the Supreme Court rulings are public domain knowledge, trying to do meaningful work with them becomes a much greater task due to the need to manually gather and process that data from scratch each time. Hence, our goal is to create a high-quality dataset of SCOTUS court cases so that they may be readily used in natural language processing (NLP) research and other data-driven applications. Additionally, recent advances in NLP provide us with the tools to build predictive models that can be used to reveal patterns that influence court decisions. By using advanced NLP algorithms to analyze previous court cases, the trained models are able to predict and classify a court's judgment given the case's facts from the plaintiff and the defendant in textual format; in other words, the model is emulating a human jury by generating a final verdict.

研究の動機と目的

• 自然言語処理（NLP）に基づく判断予測を目的とした、米国最高裁判所事件のwell-annotatedかつ包括的なデータセットの構築。
• 国別や事件種別に特化した既存のデータセットとは異なり、米国最高裁判所の判決の全範囲をカバーするデータセットの不足を補う。
• 高品質で構造化された法的テキストと判決メタデータを提供することで、司法的結果予測のモデル性能を向上させる。
• 欠損値、入れ替えられた投票、曖昧な勝者側のラベルなど、データ品質上の問題を特定・是正する。
• 事実要約のみを用いて事件の論争の大きさを予測する可能性を検討するが、テキスト内に明示的な信号が不足していることから、挑戦的である。

提案手法

• データの主な出どころは Oyez であり、不整合を解消するためにワシントン大学の最高裁判所データベース（SCDB）を補完的に活用した。
• 事件ID、当事者名、事実、投票数、勝者側、判決タイプを含む12項目の構造化されたデータセットを定義した。
• 投票の入れ替え、曖昧な勝者側ラベル、不一致する判決タイプの修正を目的としたデータクリーニング手法を適用した。
• BERTベースのモデルと従来の分類器（SVM、LSTM）を用いて、判断予測および論争の大きさ分類タスクの評価を実施した。
• クラスの不均衡を軽減するために、データ拡張およびミラーリングを実装した。
• モデルの汎化性能を向上させ、名前エンティティに依存するのを減らすために、テキストレベルの変更（例：エンティティの置換：`<p1>`、`<p2>`）を提案した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつwell-annotatedな米国最高裁判所事件データセットは、NLPを用いた司法判断予測を正確に行えるか？
• RQ2 投票の入れ替えや曖昧なラベルといったデータ品質上の問題が、法的判断予測におけるモデル性能にどのように影響するか？
• RQ3 事実要約のみで、事件が論争的かどうかを予測できる程度はどの程度か？（明示的な信号が欠如しているため）
• RQ4 名前エンティティへの依存を減らすために、入力テキストをエンティティ匿名化（例：`<p1>`、`<p2>`）によって変更することで、モデル性能が向上するか？
• RQ5 現在のNLPモデルは、事件要約のみで訓練された場合、法的結果予測においてどのような限界を示すか？

主な発見

• JUSTICEデータセットには、事実、投票結果、判決タイプについて構造的かつクリーニングされたアノテーションが施された8,200件の米国最高裁判所事件が含まれる。
• データ品質上の問題が顕著に判明し、11%の事件で多数派／少数派の投票が入れ替えられ、13%の事件で勝者側のラベルが曖昧であった。
• BERTおよびSVMを用いた判断予測モデルは、90%を超える高い正確性を達成しており、このタスクに適したデータセットであることが示された。
• 論争の大きさ予測タスクは有意義な結果を生まなかった。SVMでも61%の正確性にとどまり、クラスの不均衡と事件要約内の信号不足が原因であった。
• LSTMモデルは、交差エントロピー損失が0.6未満に収束しなかったため、論争の大きさタスクにおける学習ダイナミクスが劣悪であることが示された。
• 当事者名を`<p1>`や`<p2>`に置換するようなテキストレベルの変更は、モデルの汎化性能を向上させ、名前エンティティへの依存を減らす有効な手段であると提案された。