[論文レビュー] Case law retrieval: problems, methods, challenges and evaluations in the last 20 years

Daniel B Locke, Guido Zuccon|arXiv (Cornell University)|Feb 15, 2022

Artificial Intelligence in Law被引用数 8

ひとこと要約

本調査は、過去30年間における判例検索の現状を分析し、標準化されたテストコレクションの欠如や、アドホック検索におけるランク付けに関する限られた公的研究といった、主な課題を特定している。自然言語と機械学習を用いた商業的システムの優位性を強調しつつ、学術的リサーチを前進させるために、公的ベースラインおよび大規模な評価を求める。

ABSTRACT

Case law retrieval is the retrieval of judicial decisions relevant to a legal question. Case law retrieval comprises a significant amount of a lawyer's time, and is important to ensure accurate advice and reduce workload. We survey methods for case law retrieval from the past 20 years and outline the problems and challenges facing evaluation of case law retrieval systems going forward. Limited published work has focused on improving ranking in ad-hoc case law retrieval. But there has been significant work in other areas of case law retrieval, and legal information retrieval generally. This is likely due to legal search providers being unwilling to give up the secrets of their success to competitors. Most evaluations of case law retrieval have been undertaken on small collections and focus on related tasks such as question-answer systems or recommender systems. Work has not focused on Cranfield style evaluations and baselines of methods for case law retrieval on publicly available test collections are not present. This presents a major challenge going forward. But there are reasons to question the extent of this problem, at least in a commercial setting. Without test collections to baseline approaches it cannot be known whether methods are promising. Works by commercial legal search providers show the effectiveness of natural language systems as well as query expansion for case law retrieval. Machine learning is being applied to more and more legal search tasks, and undoubtedly this represents the future of case law retrieval.

研究の動機と目的

• 過去30年間における判例検索の進捗、問題点、手法を評価すること。
• アドホック判例検索システムの評価を妨げる主な障壁として、公的テストコレクションおよび標準化されたベースラインの欠如を特定すること。
• ブール検索から自然言語クエリへのシフトと、現代の法的検索システムにおける機械学習の役割を検討すること。
• 法的検索における商業的支配と、その結果生じるランク付け効果に関する公的論文の不足を強調すること。
• 今後の学術的リサーチを支援するために、大規模で公開可能なテストコレクションおよびベースラインの構築を提言すること。

提案手法

• 1990年から2023年までの判例検索に関する文献を系統的レビューし、手法、課題、評価実践に焦点を当てる。
• ブール検索、ベクトル空間、確率的、学習によるランク付け（learning-to-rank）アプローチを含む、法的IRで用いられる検索モデルの分析。
• 商業的システムがクエリ拡張、ユーザーログ、機械学習を用いるが、公的評価が限られていることの検証。
• 判例間の参照関係、管轄権、裁判所の階層、判決の時間的隔たりといったドメイン固有の特徴が、検索モデルで十分に活用されていないことの特定。
• 意味的表現と機能別ドキュメント分割を、有望な研究分野として評価。
• 公平な検索手法比較を可能にするために、Cranfieldスタイルの評価および標準化されたテストコレクションの必要性を提言。

実験結果

リサーチクエスチョン

• RQ1 過去30年間で、判例検索に用いられている主な手法とモデルは何か？
• RQ2 商業的進歩があるにもかかわらず、なぜアドホック判例検索におけるランク付け効果に関する公的論文が少ないのか？
• RQ3 商業的法的検索プロバイダーは、公的評価やテストコレクションがなくても、どのようにして高いパフォーマンスを達成しているのか？
• RQ4 参照関係、管轄権、判例間の時間的関係は、検索効果を向上させるために果たす役割は何か？
• RQ5 意味的表現とドキュメント構造を考慮した表現は、判例検索をどの程度向上させ得るか？

主な発見

• 自然言語クエリと機械学習の広範な使用があるにもかかわらず、アドホック判例検索におけるランク付けに関する公的リサーチは限定的である。
• 商業プロバイダーは特許的な手法、クエリログ、クエリ拡張に依存しているが、評価を公表していないため、学術的ベンチマークが困難である。
• 公的テストコレクションおよびベースラインの欠如により、新しい手法の評価や、システム間のパフォーマンス比較が妨げられている。
• 判例間の参照関係、裁判所の関係、判決の時間的近接性といった特徴は、法的意義があるにもかかわらず、検索モデルで十分に活用されていない。
• 意味的検索とドキュメント構造に配慮した表現は、有望な研究分野として浮上しているが、未だ十分に調査されていない。
• 判例検索の今後の方向性は自然言語処理および質問応答システムにあり、しかし学術的進展は、アクセス可能で大規模なテストコレクションに依存する。