[論文レビュー] LLM vs. Lawyers: Identifying a Subset of Summary Judgments in a Large UK Case Law Dataset

Ahmed Izzidien, Holli Sargeant+1 more|arXiv (Cornell University)|Mar 4, 2024

Artificial Intelligence in Law被引用数 4

ひとこと要約

本稿では、大規模な英国判例法コーパスにおける要約判決の特定のためのキーワードベース手法と大規模言語モデル（LLM）ベース手法の比較評価を提案する。ケンブリッジ法的コーパス（356,011件のケース）を用いて、LLM（Claude 2）が重み付きF1スコア0.94を達成し、キーワード手法（F1: 0.78）を著しく上回ることを示し、時間的・管轄的分析のための3,102件の要約判決ケースを抽出した。

ABSTRACT

To undertake computational research of the law, efficiently identifying datasets of court decisions that relate to a specific legal issue is a crucial yet challenging endeavour. This study addresses the gap in the literature working with large legal corpora about how to isolate cases, in our case summary judgments, from a large corpus of UK court decisions. We introduce a comparative analysis of two computational methods: (1) a traditional natural language processing-based approach leveraging expert-generated keywords and logical operators and (2) an innovative application of the Claude 2 large language model to classify cases based on content-specific prompts. We use the Cambridge Law Corpus of 356,011 UK court decisions and determine that the large language model achieves a weighted F1 score of 0.94 versus 0.78 for keywords. Despite iterative refinement, the search logic based on keywords fails to capture nuances in legal language. We identify and extract 3,102 summary judgment cases, enabling us to map their distribution across various UK courts over a temporal span. The paper marks a pioneering step in employing advanced natural language processing to tackle core legal research tasks, demonstrating how these technologies can bridge systemic gaps and enhance the accessibility of legal information. We share the extracted dataset metrics to support further research on summary judgments.

研究の動機と目的

• 大規模な英国判例法コーパス内において、要約判決ケースを効率的に特定する課題に対処すること。
• 伝統的なキーワードベース検索と、新しいLLMベース分類アプローチの有効性を比較すること。
• 英国の裁判所および時間的経過にわたる要約判決ケースの3,102件のデータセットを抽出・分析すること。
• 高度な自然言語処理技術が法的情報へのアクセスを向上させ、計算的法的研究を支援する方法を示すこと。

提案手法

• 本研究は、356,011件の英国裁判所判決からなるケンブリッジ法的コーパスを用いる。
• 専門家が生成した用語と論理演算子を用いたキーワードベース手法を開発し、要約判決を特定する。
• LLMベース手法では、Claude 2モデルを用い、内容特化型プロンプトを提示してケースを要約判決として分類する。
• LLMは、手続き上の最終性や裁判の欠如といった要約判決の特徴をケース内容から評価するようにプロンプトされる。
• 性能評価は、保留されたテストセットを用いた重み付きF1スコアで実施される。
• 最終的な3,102件のデータセットは、英国の裁判所および時間的経過にわたる分布について分析される。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのアプローチは、英国判例法における要約判決の特定において、伝統的なキーワードベース検索を上回ることができるか？
• RQ2 キーワードベースとLLMベースの分類手法の間には、微妙な法的言語を捉える能力にどのような差があるか？
• RQ3 要約判決の分布は、異なる英国の裁判所および時間的経過にわたってどのように変化するか？
• RQ4 LLMは、法的情報検索における反復的精緻化の必要性をどの程度低減できるか？

主な発見

• LLMベース手法は重み付きF1スコア0.94を達成し、キーワードベース手法のF1スコア0.78を著しく上回った。
• キーワードベース手法は、反復的精緻化を経ても、法的言語における繊細な言語的ニュアンスを捉えきれなかった。
• LLMは、356,011件のコーパスから3,102件の要約判決ケースを効果的に同定した。
• 抽出されたデータセットにより、英国の裁判所および時間的経過にわたる要約判決の時系列的・管轄的分析が可能になった。
• 本研究は、LLMが法的情報検索のギャップを効果的に埋め込み、アクセス性を向上させられることを示した。
• 著者らは、要約判決に関する今後の研究を支援するため、データセットとメトリクスを公開した。