[论文解读] Case law retrieval: problems, methods, challenges and evaluations in the last 20 years

Daniel B Locke, Guido Zuccon|arXiv (Cornell University)|Feb 15, 2022

Artificial Intelligence in Law被引用 8

一句话总结

本综述分析了过去30年判例法检索的现状，识别出关键挑战，如缺乏标准化测试集以及在即席检索中排名研究的公开资料有限。它强调了商业系统在自然语言和机器学习方面的主导地位，同时呼吁建立公开基线和大规模评估，以推动法律信息检索领域的学术研究。

ABSTRACT

Case law retrieval is the retrieval of judicial decisions relevant to a legal question. Case law retrieval comprises a significant amount of a lawyer's time, and is important to ensure accurate advice and reduce workload. We survey methods for case law retrieval from the past 20 years and outline the problems and challenges facing evaluation of case law retrieval systems going forward. Limited published work has focused on improving ranking in ad-hoc case law retrieval. But there has been significant work in other areas of case law retrieval, and legal information retrieval generally. This is likely due to legal search providers being unwilling to give up the secrets of their success to competitors. Most evaluations of case law retrieval have been undertaken on small collections and focus on related tasks such as question-answer systems or recommender systems. Work has not focused on Cranfield style evaluations and baselines of methods for case law retrieval on publicly available test collections are not present. This presents a major challenge going forward. But there are reasons to question the extent of this problem, at least in a commercial setting. Without test collections to baseline approaches it cannot be known whether methods are promising. Works by commercial legal search providers show the effectiveness of natural language systems as well as query expansion for case law retrieval. Machine learning is being applied to more and more legal search tasks, and undoubtedly this represents the future of case law retrieval.

研究动机与目标

• 评估过去30年在判例法检索方面的进展、问题与方法。
• 识别缺乏公开测试集和标准化基线是评估即席判例法检索系统的主要障碍。
• 考察从布尔查询向自然语言查询的转变，以及机器学习在现代法律检索系统中的作用。
• 强调法律检索领域中商业系统的主导地位，以及由此导致的关于排名有效性研究公开资料匮乏的问题。
• 倡导建立大规模、公开可用的测试集和基线，以支持未来学术研究。

提出的方法

• 对1990年至2023年期间关于判例法检索的文献进行系统性综述，重点关注方法、挑战与评估实践。
• 分析法律信息检索中使用的检索模型，包括布尔模型、向量空间模型、概率模型以及学习排序方法。
• 考察商业系统在查询扩展、用户日志和机器学习方面的应用，尽管其公开评估资料有限。
• 识别出在检索模型中尚未充分探索的领域特异性特征——如引用关系、管辖权、法院层级结构、判决间的时间间隔。
• 评估语义表示与按功能分段的文档表示作为有前景的研究方向。
• 呼吁开展类似Cranfield风格的评估，并建立标准化测试集，以实现对不同检索方法的公平比较。

实验结果

研究问题

• RQ1 过去30年中，判例法检索中占主导地位的方法与模型是什么？
• RQ2 尽管商业系统取得了显著进展，为何在即席判例法检索中关于排名有效性的公开研究仍然匮乏？
• RQ3 商业法律检索提供商如何在缺乏公开评估或测试集的情况下实现高性能？
• RQ4 引用关系、管辖权以及案件之间的时序关系在提升检索有效性方面发挥什么作用？
• RQ5 语义表示与文档结构感知表示在多大程度上可以增强判例法检索？

主要发现

• 尽管商业系统广泛使用自然语言查询和机器学习，但即席判例法检索在排名方面的公开研究仍然有限。
• 商业提供商依赖专有方法、查询日志和查询扩展，但不公开评估结果，限制了学术界的基准测试。
• 缺乏公开可用的测试集和基线，阻碍了对新方法的评估以及跨系统性能的比较。
• 尽管具有法律重要性，引用关系、法院关系以及案件间的时间接近性在检索模型中仍被低估。
• 语义搜索与文档结构感知表示是新兴但尚未充分探索的研究方向。
• 判例法检索的未来在于自然语言处理与问答系统，但学术进展取决于可访问的大规模测试集。