[论文解读] Methods for Computing Legal Document Similarity: A Comparative Study

Paheli Bhattacharya, Kripabandhu Ghosh+2 more|arXiv (Cornell University)|Apr 26, 2020

Topic Modeling参考文献 7被引用 13

一句话总结

本文通过一个由法律专家标注的47对印度最高法院判例组成的共享数据集，对法律文书相似性方法进行了系统比较。研究提出了两种新方法——基于Node2Vec的引用网络嵌入和主题段落相似性，结果表明结合文本相似性与引用相似性度量可显著提升与专家判断的相关性，最佳结果达到0.626的皮尔逊相关系数。

ABSTRACT

Computing similarity between two legal documents is an important and challenging task in the domain of Legal Information Retrieval. Finding similar legal documents has many applications in downstream tasks, including prior-case retrieval, recommendation of legal articles, and so on. Prior works have proposed two broad ways of measuring similarity between legal documents - analyzing the precedent citation network, and measuring similarity based on textual content similarity measures. But there has not been a comprehensive comparison of these existing methods on a common platform. In this paper, we perform the first systematic analysis of the existing methods. In addition, we explore two promising new similarity computation methods - one text-based and the other based on network embeddings, which have not been considered till now.

研究动机与目标

• 在共享数据集上对现有法律文书相似性方法进行公平、系统的比较。
• 评估判例引用相似性与文本相似性度量在预测专家标注相似性评分方面的有效性。
• 提出并评估两种新方法：基于Node2Vec的引用网络嵌入和基于主题段落的文本相似性。
• 研究结合不同相似性类型（文本与引用）对整体性能的影响。
• 识别在法律文书相似性任务中使用最大值和平均值聚合函数的最佳组合策略。

提出的方法

• 本研究使用一个包含47对印度最高法院判例的数据集，其相似性评分由专家标注，范围为0至10。
• 复现并比较了五种现有的判例引用相似性度量方法：文献耦合、共现引用、分散度，以及两种变体的基于引用的相似性度量。
• 应用一种新颖的图嵌入方法——Node2Vec，对引用网络进行处理，以计算判例引用相似性。
• 通过全文嵌入（Doc2Vec）和将文档划分为主题成分（事实、论点、判决理由、裁决）并计算对应段落间相似性的方法，计算文本相似性。
• 采用两种聚合策略（最大值与平均值）将文本相似性与引用相似性结合，以评估混合方法的性能。
• 通过预测相似性评分与专家标注评分之间的皮尔逊相关系数评估性能。

实验结果

研究问题

• RQ1 在共享的、由专家标注的数据集上，现有法律文书相似性方法中哪一种表现最佳？
• RQ2 基于Node2Vec的引用网络嵌入与主题段落相似性等新方法与传统方法相比表现如何？
• RQ3 结合文本相似性与判例引用相似性是否能提升性能，优于单独使用任一方法？
• RQ4 哪种聚合策略（最大值或平均值）与专家相似性判断的相关性更高？
• RQ5 不同文书方面（如事实、判决理由、判例）对整体相似性感知的相对贡献是什么？

主要发现

• 文献耦合（判例引用相似性）与使用Doc2Vec的全文相似性相结合，达到了与专家评分0.626的最高皮尔逊相关系数。
• 主题相似性，尤其是与文献耦合结合时，达到了0.604的相关系数，表明特定法律组成部分的相似性对整体相似性有显著贡献。
• 基于Node2Vec的引用相似性与主题相似性通过平均聚合得到的混合方法表现最佳，相关系数为0.615。
• 结合文本与引用方法的性能始终优于单一方法，表明多种相似性维度具有互补性。
• 研究发现，文档在‘判决理由’（Ratio）和‘判例’（Precedent）部分最为相似，相关系数分别为0.45和0.42，表明这些部分是专家判断相似性的关键。
• Doc2Vec的性能对训练数据敏感，由于模型训练的差异，其相关系数与先前研究结果不同。