[論文レビュー] DoSSIER@COLIEE 2021: Leveraging dense retrieval and summarization-based re-ranking for case law retrieval

Sophia Althammer, Arian Askari+2 more|arXiv (Cornell University)|Aug 9, 2021

Artificial Intelligence in Law被引用数 10

ひとこと要約

本稿では、ケース要約を用いたBERTベースの再ランク付けを組み合わせた段落レベルの高密度的・語彙的検索を統合した2段階の法的ケース検索システムを提案する。段落レベルの検索が文書レベルの検索を上回ること、およびドメイン特化された高密度的検索（lawDPR）とBM25を組み合わせることで検索効果が著しく向上することを示し、法的含意のタスクにおいてテストセットで最高のF1スコア0.6922を達成した。

ABSTRACT

In this paper, we present our approaches for the case law retrieval and the legal case entailment task in the Competition on Legal Information Extraction/Entailment (COLIEE) 2021. As first stage retrieval methods combined with neural re-ranking methods using contextualized language models like BERT achieved great performance improvements for information retrieval in the web and news domain, we evaluate these methods for the legal domain. A distinct characteristic of legal case retrieval is that the query case and case description in the corpus tend to be long documents and therefore exceed the input length of BERT. We address this challenge by combining lexical and dense retrieval methods on the paragraph-level of the cases for the first stage retrieval. Here we demonstrate that the retrieval on the paragraph-level outperforms the retrieval on the document-level. Furthermore the experiments suggest that dense retrieval methods outperform lexical retrieval. For re-ranking we address the problem of long documents by summarizing the cases and fine-tuning a BERT-based re-ranker with the summaries. Overall, our best results were obtained with a combination of BM25 and dense passage retrieval using domain-specific embeddings.

研究の動機と目的

• BERTの入力長制限を超える長大な法的文書を扱う法的ケース検索の課題に対処する。
• 語彙的（BM25）と高密度的（lawDPR）検索手法を統合することで、法的分野における検索効果を向上させる。
• ニューラル再ランク付けにおける要約処理の影響を、法的ケース検索および含意タスクにおいて評価する。
• 要約済みのケースペアを用いた微調整されたBERTによる再ランク付け性能を最適化する。
• 語彙的および意味的検索モデルの統合が、法的情報検索タスクにおける精度と再現率の向上に寄与することを実証する。

提案手法

• BERTの入力長制限を克服するため、クエリおよびコロケーションのケースを段落に分割して段落レベルの検索を可能にする。
• 段落レベルの検索にBM25およびlawDPR（法的含意ペアで微調整済み）を適用し、重み付き統合によるスコア統合を実施する。
• 長大な法的ケースの要約を生成するため、Longformer-Encoder-Decoder（LED）をアブストラクト要約用に微調整する。
• 要約済みのクエリ・ケースおよびドキュメント・ケースペアを二値分類入力として扱い、BERTを用いて再ランク付けを実施する。
• BM25とlawDPRのスコアを重み付き統合（例：[4,1]）することで、最初の段階の検索における再現率と精度を向上させる。
• 検証およびテストセットにおいて、標準的な情報検索指標を用いてCOLIEE 2021タスク1（ケース検索）およびタスク2（法的ケース含意）を評価する。

実験結果

リサーチクエスチョン

• RQ1 段落レベルの検索は、法的ケース検索タスクにおいて文書レベルの検索を上回るか？
• RQ2 ドメイン特化された埋め込み（lawDPR）を用いた高密度的検索は、語彙的検索（BM25）を上回るか？
• RQ3 ニューラル再ランク付けの前段階で法的ケースを要約することで、検索効果が向上するか？
• RQ4 語彙的および高密度的検索モデルの組み合わせは、法的情報検索における精度と再現率の向上にどの程度効果的か？
• RQ5 法的ケース検索および含意タスクにおいて、BM25とlawDPRスコアを最適に統合する重み付け戦略は何か？

主な発見

• BM25およびlawDPRのベースラインにおいて、段落レベルの検索が文書レベルの検索を上回り、より高い再現率を達成した。
• lawDPRはBM25を上回る検索再現率を示し、法的分野において高密度的意味的検索が有効であることを示した。
• 重み付き統合（例：[4,1]）によるBM25とlawDPRの組み合わせが、タスク2（法的含意）のテストセットで最高のF1スコア0.6922を達成した。
• BM25単体が、タスク2のテストセットで最高のパフォーマンスを示し、精度0.6300、再現率0.5953、F1スコア0.6121を達成した。
• 要約を用いた再ランク付けアプローチは、効果を向上させなかったため、この設定では要約処理に限られた利点があると示唆された。
• BM25とlawDPRの組み合わせは相補的な強みを示し、ハイブリッドモデルが検証およびテストセットの両方で個々のモデルを上回った。