[論文レビュー] THUIR@COLIEE 2023: Incorporating Structural Knowledge into Pre-trained Language Models for Legal Case Retrieval

Haitao Li, Weihang Su+4 more|arXiv (Cornell University)|May 11, 2023

Artificial Intelligence in Law被引用数 6

ひとこと要約

本論文では、事実－根拠－判決構造を明示的にモデル化することで、法的事例検索を向上させる構造に配慮した事前学習言語モデル、SAILERを提示する。事前学習中に構造的知識を統合し、学習に基づくランク付け統合とヒューリスティックな前処理／後処理を用いることで、SOTAの性能を達成し、COLIEE 2023の法的事例検索コンペティションで、テストセットにおけるF1スコア0.3001で1位を獲得した。

ABSTRACT

Legal case retrieval techniques play an essential role in modern intelligent legal systems. As an annually well-known international competition, COLIEE is aiming to achieve the state-of-the-art retrieval model for legal texts. This paper summarizes the approach of the championship team THUIR in COLIEE 2023. To be specific, we design structure-aware pre-trained language models to enhance the understanding of legal cases. Furthermore, we propose heuristic pre-processing and post-processing approaches to reduce the influence of irrelevant messages. In the end, learning-to-rank methods are employed to merge features with different dimensions. Experimental results demonstrate the superiority of our proposal. Official results show that our run has the best performance among all submissions. The implementation of our method can be found at https://github.com/CSHaitao/THUIR-COLIEE2023.

研究の動機と目的

• 法的事例検索におけるラベル付きデータの不足と、法的事例構造の理解不足の課題に対処すること。
• 法的事例内の事実－根拠－判決構造を明示的にモデル化することで、検索性能を向上させること。
• ヒューリスティックな前処理／後処理技術を用いて、関係のないコンテンツからのノイズを低減すること。
• 多様な特徴量の学習に基づくランク付け統合により、モデルの汎化性能とランク付け精度を向上させること。
• COLIEE 2023の法的事例検索コンペティションでSOTAの性能を達成すること。

提案手法

• 法的事例の各要素（事実、根拠、判決）間の関係を捉えるように設計された、デュアルエンコーダー・デコーダー型の事前学習言語モデル、SAILERを提案する。
• 法的事例に内在する構造を活用する構造に配慮した事前学習目的を採用し、表現学習を向上させる。
• 入力前に、事例番号や手続的詳細などの関係のないコンテンツをフィルタリングするためのヒューリスティックな前処理を適用する。
• 候補リストの精錬のため、裁判日によるフィルタリングと動的カットオフを含む後処理戦略を用いる。
• 複数のモデルと特徴量のスコアを統合する学習に基づくランク付け（Lambdarank目的関数を用いる）を採用し、最終的なランク付け性能を向上させる。
• AdamW最適化法と線形ウォームアップスケジュールを用い、1対15の正例対負例のサンプル比でモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 事前学習言語モデルに明示的な構造的知識を統合することで、法的事例検索性能が向上するか？
• RQ2 ヒューリスティックな前処理および後処理技術は、法的事例テキストからのノイズ低減にどの程度効果的か？
• RQ3 多様な特徴量の学習に基づくランク付け統合は、検索性能をどの程度向上させるか？
• RQ4 入力長制約下で、密度型検索モデルの性能は低下するか？長文対応モデルはその影響を緩和できるか？
• RQ5 構造に配慮した事前学習アプローチは、標準的な法的BERTモデルや語彙マッチングベースラインを上回るか？

主な発見

• SAILERは、512トークンのコンテキスト長でバリデーションセットにおいてF1スコア0.1385を達成し、RoBERTa（0.1046）とBERT（0.0809）を著しく上回った。
• 入力長が制限されない場合、BM25とQLDが他のすべてのモデルを上回った。これは、標準モデルが長文理解において依然として課題を抱えていることを示している。
• 動的カットオフと裁判日フィルタリングを施した最終アンサンブルは、F1スコア0.2276を達成し、最良の実行（thuirun2）ではテストセットでF1スコア0.3001を記録した。
• 裁判日によるフィルタリングが最も効果的な後処理戦略であった。ベースラインアンサンブル比に対してF1スコアを20%以上向上させた。
• SAILERは、LEGAL-BERT（0.0888）とBERT（0.0809）に対して性能向上を示し、法的検索における構造に配慮した事前学習の価値を裏付けた。
• 本手法は、COLIEE 2023コンペティションにおいて、すべての提出物の中で最高の性能を達成し、1位を獲得した。