[論文レビュー] Caseformer: Pre-training for Legal Case Retrieval Based on Inter-Case Distinctions

Weihang Su, Qingyao Ai+6 more|arXiv (Cornell University)|Nov 1, 2023

Artificial Intelligence in Law被引用数 4

ひとこと要約

この論文は、人為的アノテーションデータを必要とせず、中国語および英語の法的文書データセットにおいて、ゼロショットおよび微調整設定の両方で最先端の性能を達成する、法的事例検索のための新しい事前学習フレームワークであるCaseformerを提案する。このフレームワークは、三つの教師なしタスク（事実-文書マッチング、法的判断予測、事例間対照的学習）を通じて、法的知識および関連性マッチングのパターンを学習する。

ABSTRACT

Legal case retrieval aims to help legal workers find relevant cases related to their cases at hand, which is important for the guarantee of fairness and justice in legal judgments. While recent advances in neural retrieval methods have significantly improved the performance of open-domain retrieval tasks (e.g., Web search), their advantages have not been observed in legal case retrieval due to their thirst for annotated data. As annotating large-scale training data in legal domains is prohibitive due to the need for domain expertise, traditional search techniques based on lexical matching such as TF-IDF, BM25, and Query Likelihood are still prevalent in legal case retrieval systems. While previous studies have designed several pre-training methods for IR models in open-domain tasks, these methods are usually suboptimal in legal case retrieval because they cannot understand and capture the key knowledge and data structures in the legal corpus. To this end, we propose a novel pre-training framework named Caseformer that enables the pre-trained models to learn legal knowledge and domain-specific relevance information in legal case retrieval without any human-labeled data. Through three unsupervised learning tasks, Caseformer is able to capture the special language, document structure, and relevance patterns of legal case documents, making it a strong backbone for downstream legal case retrieval tasks. Experimental results show that our model has achieved state-of-the-art performance in both zero-shot and full-data fine-tuning settings. Also, experiments on both Chinese and English legal datasets demonstrate that the effectiveness of Caseformer is language-independent in legal case retrieval.

研究の動機と目的

• 神経的検索モデルの有効性を制限する、法的事例検索分野における大規模なアノテート済み学習データの不足に対処する。
• BERT や RoBERTa などの汎用的事前学習モデルが、法的文書構造や法的関連性を理解する点で抱える制限を克服する。
• 人為的アノテーションの監視なしに、ドメイン固有の知識、言語パターン、および事例間の関係性を捉える事前学習フレームワークを開発する。
• 特に中国語および英語の法的コーパスにおいて、複数言語にわたるゼロショットおよび微調整の両状況で優れた性能を発揮できるようにする。

提案手法

• 三つのタスクに依存する教師なし事前学習フレームワーク（事実-文書マッチング（FDM）、法的判断予測（LJP）、事例間対照的学習（ICCL））を提案する。
• FDM を用いて、事実の記述がどのケース文書に該当するかを予測することで、法的事実と対応するケース文書を一致させる。
• LJP を用いて、ケーステキストから法的判断（例：罪名や刑罰）を予測することで、モデルが法的推論および類似性を学習できるようにする。
• ICCL を用いて、法的類似性に基づいてペア化されたケースを対照させることで、モデルがケース間の微細な差異を学習できるようにする。
• 密検索およびニューラル再ランクモデルの両方をサポートするフレームワークを設計し、下流の検索性能を向上させる。
• 人為的アノテーション済みのクエリ-ドキュメントペアを一切使用せず、文書の内在的構造と法的意味を活用して、大規模な法的コーパス上でモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーションデータが存在しない状況でも、事前学習フレームワークが法的知識および関連性マッチングのパターンを学習できるか？
• RQ2 個々の事前学習タスク（FDM、LJP、ICCL）は、モデルが法的事例を区別する能力にどのように寄与しているか？
• RQ3 提案されたフレームワークは、中国語および英語の法的データセットにおける性能から示されるように、言語を越えて一般化可能か？
• RQ4 微調整なしのゼロショット検索において、モデルが最先端の性能を達成できるか？
• RQ5 BERT-XS や text-embedding-ada-002、Lawformer といった既存モデルと比較して、モデルの法的類似性の捉え方はどのように優れているか？

主な発見

• Caseformer は、中国語および英語のデータセットを含む複数の法的検索ベンチマークで、ゼロショットおよび微調整設定の両方で最先端の性能を達成した。
• アブレーションスタディの結果、法的判断予測（LJP）タスクを削除すると性能が最も大きく低下し、これが法的類似性を学習する上で極めて重要な役割を果たしていることが示された。
• 事例間対照的学習（ICCL）タスクは、類似した罪名カテゴリでも異なる法的規定を有するケースを区別する能力に顕著に寄与している。
• t-SNE ビジュアライゼーションの結果、Caseformer は特定の犯罪種別に事例をクラスタリングしているのに対し、BERT-XS や text-embedding-ada-002 などのベースラインは主に罪名カテゴリごとにグループ化されるのみで、より細分化された法的理解が示された。
• ゼロショット検索において、Lawformer や text-embedding-ada-002 といった既存モデルを上回る性能を示した。これは、優れた一般化能力および法的推論能力を示している。
• モデルの有効性は言語に依存せず、中国語および英語の両方の法的データセットで優れた性能を発揮した。これは、広範な適用可能性を示している。