[論文レビュー] THUIR@COLIEE-2020: Leveraging Semantic Understanding and Exact Matching for Legal Case Retrieval and Entailment

Yunqiu Shao, Bulou Liu+4 more|arXiv (Cornell University)|Dec 24, 2020

Artificial Intelligence in Law参考文献 10被引用数 8

ひとこと要約

本論文は、COLIEE-2020 競争における法的ケース検索および含意関係の検出において、ニューラル意味理解（BERT-PLI）と正確一致（語-エンティティデュエット）を組み合わせたハイブリッドアプローチを提示する。この手法は、両方の戦略を統合するためにラーニング・トゥ・ランクを活用し、検索では2位、含意関係の検出では4位を達成した。これは、意味理解モデルが含意関係の検出において正確一致を上回ることを示しており、検索では両者が補完的であることを示している。

ABSTRACT

In this paper, we present our methodologies for tackling the challenges of legal case retrieval and entailment in the Competition on Legal Information Extraction / Entailment 2020 (COLIEE-2020). We participated in the two case law tasks, i.e., the legal case retrieval task and the legal case entailment task. Task 1 (the retrieval task) aims to automatically identify supporting cases from the case law corpus given a new case, and Task 2 (the entailment task) to identify specific paragraphs that entail the decision of a new case in a relevant case. In both tasks, we employed the neural models for semantic understanding and the traditional retrieval models for exact matching. As a result, our team (TLIR) ranked 2nd among all of the teams in Task 1 and 3rd among teams in Task 2. Experimental results suggest that combing models of semantic understanding and exact matching benefits the legal case retrieval task while the legal case entailment task relies more on semantic understanding.

研究の動機と目的

• COLIEE-2020 競争における法的ケース検索および含意関係の検出の課題に、意味理解と正確一致の両技術を用いて対処すること。
• 意味理解と語彙的一致手法を組み合わせることで、法的情報検索タスクのパフォーマンスが向上するかどうかを調査すること。
• クエリ断片が重要である法的含意関係のタスクにおいて、BERTの微調整時に非対称的トリンケーションの有効性を評価すること。
• 低データ環境におけるモデル結合の限界を分析し、法的NLPタスクにおけるパフォーマンスに影響を与える要因を同定すること。

提案手法

• 法的ケースにおける語彙的およびエンティティレベルの類似性を捉えるために、正確一致のための語-エンティティデュエットフレームワークを採用した。
• 長大な法的文書における段落レベルの相互作用をモデル化することで、深層的意味理解を実現するため、BERT-PLIモデルを適用した。
• 検索タスクにおいて、両モデルの特徴をRankSVMを用いてラーニング・トゥ・ランクで統合した。
• 含意関係のタスクにおけるBERTの微調整時に、意思決定断片（クエリ）の情報を保持するために非対称的トリンケーションを用いた。
• 含意関係のタスクにおいて、追加のメタ特徴および正確一致特徴をBERT表現と統合した。
• モデルの組み合わせ方や微調整戦略を変化させた3つの異なる実験を、各タスクごとに実施した。

実験結果

リサーチクエスチョン

• RQ1 意味理解モデルと正確一致技術は、法的ケース検索および含意関係の検出タスクにおいて、どのように比較されるか？
• RQ2 意味理解と語彙的一致手法を組み合わせることで、法的ケース検索のパフォーマンスが向上するか？
• RQ3 BERTの微調整時に非対称的トリンケーションを適用することで、法的ケース含意関係のタスクにおけるパフォーマンスが向上するか？
• RQ4 検索タスクでは成功したにもかかわらず、なぜモデル結合は含意関係のタスクでパフォーマンス向上をもたらさなかったのか？
• RQ5 データ不足とデータセットバイアスは、法的NLPタスクにおけるモデルの一般化性能にどの程度影響を与えるか？

主な発見

• BERT-PLIモデルは、法的ケース検索において語-エンティティデュエットモデルを著しく上回り、このタスクでは意味理解が正確一致よりも効果的であることを示している。
• ラーニング・トゥ・ランクを用いて意味理解と正確一致モデルを統合することで、単独での手法よりもパフォーマンスが向上し、検索タスクにおいて両者が補完的であることが確認された。
• タスク1（検索）で最高の実行結果が2位となり、上位チームとF1スコアが0.01未満の差で、ほぼ同等のパフォーマンスを達成した。
• タスク2（含意関係の検出）では、非対称的トリンケーションを適用した最良の実行結果が4位となり、クエリ断片の情報を保持することでパフォーマンスが向上することが示された。
• モデル結合はタスク2で結果を向上させなかったが、これはタスクが深い意味理解に依存しており、小規模データセットでの過学習のリスクがあるためと推測される。
• タスク2で最高のパフォーマンスを示したチーム（JNLP-BMWT）は、他のすべてのチームを著しく上回り、現在のアプローチには改善の余地があることを示唆している。