[论文解读] DoSSIER@COLIEE 2021: Leveraging dense retrieval and summarization-based re-ranking for case law retrieval

Sophia Althammer, Arian Askari+2 more|arXiv (Cornell University)|Aug 9, 2021

Artificial Intelligence in Law被引用 10

一句话总结

本文提出了一种两阶段法律案例检索系统，结合段落级稠密检索与词汇检索，并使用基于 BERT 的重排序技术，利用案例摘要进行优化。结果表明，段落级检索优于文档级检索，且将 BM25 与领域特定的稠密检索（lawDPR）结合可显著提升检索效果，在法律蕴含任务的测试集上达到最高的 F1 分数 0.6922。

ABSTRACT

In this paper, we present our approaches for the case law retrieval and the legal case entailment task in the Competition on Legal Information Extraction/Entailment (COLIEE) 2021. As first stage retrieval methods combined with neural re-ranking methods using contextualized language models like BERT achieved great performance improvements for information retrieval in the web and news domain, we evaluate these methods for the legal domain. A distinct characteristic of legal case retrieval is that the query case and case description in the corpus tend to be long documents and therefore exceed the input length of BERT. We address this challenge by combining lexical and dense retrieval methods on the paragraph-level of the cases for the first stage retrieval. Here we demonstrate that the retrieval on the paragraph-level outperforms the retrieval on the document-level. Furthermore the experiments suggest that dense retrieval methods outperform lexical retrieval. For re-ranking we address the problem of long documents by summarizing the cases and fine-tuning a BERT-based re-ranker with the summaries. Overall, our best results were obtained with a combination of BM25 and dense passage retrieval using domain-specific embeddings.

研究动机与目标

• 解决在判例法检索中长法律文档超过 BERT 输入长度限制的挑战。
• 通过结合词汇检索（BM25）与稠密检索（lawDPR）方法，提升法律领域中的检索效果。
• 评估摘要对神经重排序在法律案例检索与蕴含任务中影响。
• 通过在摘要化案例对上微调 BERT，优化重排序性能。
• 证明结合词汇与语义检索模型可提升法律信息检索任务中的精确率与召回率。

提出的方法

• 将查询与语料库中的案例拆分为段落，以支持段落级检索，克服 BERT 的输入长度限制。
• 应用 BM25 与 lawDPR（在法律蕴含对上微调）进行段落级检索，并通过加权融合方式组合得分。
• 对 Longformer-Encoder-Decoder（LED）进行微调，以实现法律案例的抽象式摘要，减少输入长度。
• 将摘要后的查询-案例对与文档-案例对作为二分类输入，使用 BERT 进行重排序。
• 通过加权融合（如 [4,1]）结合 BM25 与 lawDPR 得分，以提升第一阶段检索的召回率与精确率。
• 在 COLIEE 2021 任务 1（案例检索）与任务 2（法律案例蕴含）上进行评估，使用标准信息检索指标在验证集与测试集上进行分析。

实验结果

研究问题

• RQ1 在法律案例检索任务中，段落级检索是否优于文档级检索？
• RQ2 在法律案例检索中，使用领域特定嵌入（lawDPR）的稠密检索是否优于词汇检索（BM25）？
• RQ3 在神经重排序前对法律案例进行摘要，是否能提升检索效果？
• RQ4 词汇与稠密检索模型的结合在提升法律信息检索的精确率与召回率方面有多有效？
• RQ5 在法律案例检索与蕴含任务中，BM25 与 lawDPR 得分的最佳加权策略是什么？

主要发现

• 段落级检索在 BM25 与 lawDPR 基线中均优于文档级检索，实现了更高的召回率。
• lawDPR 在检索召回率方面优于 BM25，表明稠密语义检索在法律领域中是有效的。
• 通过加权融合（如 [4,1]）结合 BM25 与 lawDPR，在任务 2（法律蕴含）的测试集上实现了最高的 F1 分数 0.6922。
• BM25 单独使用在任务 2 的测试集上表现最佳，精确率为 0.6300，召回率为 0.5953，F1 分数为 0.6121。
• 使用案例摘要的重排序方法未提升效果，表明在此设置下摘要带来的收益有限。
• BM25 与 lawDPR 的结合展现了互补优势，混合模型在验证集与测试集上均优于单一模型。