[论文解读] Caseformer: Pre-training for Legal Case Retrieval Based on Inter-Case Distinctions

Weihang Su, Qingyao Ai+6 more|arXiv (Cornell University)|Nov 1, 2023

Artificial Intelligence in Law被引用 4

一句话总结

本文提出 Caseformer，一种用于法律案例检索的新型预训练框架，通过三种无监督任务——事实-文档匹配、法律判决预测和案例间对比学习——学习法律知识与相关性匹配模式，在无需人工标注数据的情况下，于中文和英文法律数据集上均实现了零样本和微调设置下的最先进性能。

ABSTRACT

Legal case retrieval aims to help legal workers find relevant cases related to their cases at hand, which is important for the guarantee of fairness and justice in legal judgments. While recent advances in neural retrieval methods have significantly improved the performance of open-domain retrieval tasks (e.g., Web search), their advantages have not been observed in legal case retrieval due to their thirst for annotated data. As annotating large-scale training data in legal domains is prohibitive due to the need for domain expertise, traditional search techniques based on lexical matching such as TF-IDF, BM25, and Query Likelihood are still prevalent in legal case retrieval systems. While previous studies have designed several pre-training methods for IR models in open-domain tasks, these methods are usually suboptimal in legal case retrieval because they cannot understand and capture the key knowledge and data structures in the legal corpus. To this end, we propose a novel pre-training framework named Caseformer that enables the pre-trained models to learn legal knowledge and domain-specific relevance information in legal case retrieval without any human-labeled data. Through three unsupervised learning tasks, Caseformer is able to capture the special language, document structure, and relevance patterns of legal case documents, making it a strong backbone for downstream legal case retrieval tasks. Experimental results show that our model has achieved state-of-the-art performance in both zero-shot and full-data fine-tuning settings. Also, experiments on both Chinese and English legal datasets demonstrate that the effectiveness of Caseformer is language-independent in legal case retrieval.

研究动机与目标

• 解决法律案例检索中大规模标注训练数据缺乏的问题，该问题限制了神经检索模型的有效性。
• 克服通用预训练模型（如 BERT 和 RoBERTa）在理解法律文档结构和法律相关性方面的局限性。
• 开发一种无需人工标注监督的预训练框架，以捕捉法律文档中的领域特定知识、语言模式及案例间关系。
• 在多种语言场景下（特别是中文和英文法律语料）实现零样本和微调场景下的强大性能。

提出的方法

• 提出一种三任务无监督预训练框架：事实-文档匹配（FDM）、法律判决预测（LJP）和案例间对比学习（ICCL）。
• 利用 FDM 通过预测事实描述是否匹配某案例，实现法律事实与对应案例文档的对齐。
• 利用 LJP 从案例文本中预测法律判决（如指控或刑期），使模型能够学习法律推理与相似性。
• 利用 ICCL 基于法律相似性对比成对案例，促使模型学习案例之间的细微差异。
• 设计该框架以支持密集检索与神经重排序模型，提升下游检索性能。
• 在大规模法律语料上训练模型，无需人工标注的查询-文档对，充分利用文档内在结构与法律语义。

实验结果

研究问题

• RQ1 无监督预训练框架是否能在无需人工标注数据的情况下学习法律知识与相关性匹配模式？
• RQ2 各预训练任务（FDM、LJP、ICCL）如何分别贡献于模型区分法律案例的能力？
• RQ3 所提出的框架是否具备跨语言泛化能力，体现在中文与英文法律数据集上的表现？
• RQ4 模型是否能在无需微调的情况下实现零样本检索的最先进性能？
• RQ5 与 BERT-XS、text-embedding-ada-002 和 Lawformer 等现有模型相比，该模型在捕捉法律相似性方面表现如何？

主要发现

• Caseformer 在多个法律检索基准测试中，包括中文与英文数据集，在零样本和微调设置下均实现了最先进性能。
• 消融实验表明，移除法律判决预测（LJP）任务导致性能下降最大，表明其在学习法律相似性方面具有关键作用。
• 案例间对比学习（ICCL）任务在区分具有相似罪名但不同法律条文的案例方面贡献显著。
• t-SNE 可视化结果表明，Caseformer 按具体罪名对案例进行聚类，而基线模型如 BERT-XS 和 text-embedding-ada-002 仅按罪名类别聚类，显示出更细粒度的法律理解能力。
• 在零样本检索中，Caseformer 超越了 Lawformer 和 text-embedding-ada-002 等现有模型，展现出更优的泛化能力与法律推理能力。
• 该模型的有效性与语言无关，其在中文与英文法律数据集上均表现优异，表明具备广泛适用性。