[论文解读] Mining Legal Arguments in Court Decisions

Ivan Habernal, Daniel Faber+5 more|arXiv (Cornell University)|Aug 12, 2022

Artificial Intelligence in Law被引用 6

一句话总结

本文提出了一种基于法律理论的新型欧洲人权法院（ECHR）判决中法律论证标注方案，构建了一个大规模语料库（373个标注案例，230万个词符，15,000个论证片段），并提出了一种基于RoBERTa-Large的论辩挖掘模型，其性能优于当前最先进的法律自然语言处理模型。该模型通过领域自适应预训练实现了显著性能提升，专家评估证实其稳健性，尤其在常见论证类型上表现优异，尽管由于上下文有限，稀有类型仍具挑战性。

ABSTRACT

Identifying, classifying, and analyzing arguments in legal discourse has been a prominent area of research since the inception of the argument mining field. However, there has been a major discrepancy between the way natural language processing (NLP) researchers model and annotate arguments in court decisions and the way legal experts understand and analyze legal argumentation. While computational approaches typically simplify arguments into generic premises and claims, arguments in legal research usually exhibit a rich typology that is important for gaining insights into the particular case and applications of law in general. We address this problem and make several substantial contributions to move the field forward. First, we design a new annotation scheme for legal arguments in proceedings of the European Court of Human Rights (ECHR) that is deeply rooted in the theory and practice of legal argumentation research. Second, we compile and annotate a large corpus of 373 court decisions (2.3M tokens and 15k annotated argument spans). Finally, we train an argument mining model that outperforms state-of-the-art models in the legal NLP domain and provide a thorough expert-based evaluation. All datasets and source codes are available under open lincenses at https://github.com/trusthlt/mining-legal-arguments.

研究动机与目标

• 为弥合NLP研究人员对法律论辩的建模方式（将论辩简化为前提与主张）与法律专家实际理解方式之间的差距，后者涉及丰富的论辩类型体系。
• 设计一种基于法律理论与实践的ECHR判决新标注方案，确保与真实世界法律推理的一致性。
• 整理并标注了373份ECHR判决的大型高质量语料库，涵盖第3、7、8条，共15,205个标注的论辩片段。
• 训练并评估一种在法律NLP领域表现优于现有模型的最先进论辩挖掘模型。
• 探究特定法律论辩模式是否与ECHR局所确定的案件重要性相关。

提出的方法

• 基于法律理论，开发了一套用于ECHR判决中法律论辩的新标注方案，包含15种不同的论辩类型，如“判例法适用”、“必要性/比例性”和“适度裁量空间”。
• 由专业法律标注员对373份ECHR判决（230万个词符）进行标注，确保高标注者间一致性，并与法律教义保持一致。
• 在ECHR语料库上微调RoBERTa-Large，并进一步在欧洲法律文本上进行领域自适应预训练，以提升领域适应性和性能。
• 使用新标注方案训练序列标注模型，以识别和分类论辩片段，性能通过专家验证的指标进行评估。
• 应用监督线性模型（SVM）探究论辩类型分布是否可预测ECHR案件的重要性等级。
• 使用INCEpTION平台进行标注，通过严格的一致性研究和迭代试点测试，确保可靠性与一致性。

实验结果

研究问题

• RQ1 在多大程度上可将法律论辩理论可靠地转化为法院判决的语篇标注方案？
• RQ2 如何构建一个在ECHR判决中跨多样化法律论辩类型具有良好泛化能力的稳健论辩挖掘模型？
• RQ3 与标准微调相比，领域自适应预训练是否能显著提升法律文本上的论辩挖掘性能？
• RQ4 判决中论辩类型分布是否可预测ECHR局所赋予的案件重要性等级？
• RQ5 模型在常见与稀有论辩类型上的表现与错误模式有何差异，上下文在此中发挥何种作用？

主要发现

• 在ECHR语料库上微调并进一步在欧洲法律文本上预训练的RoBERTa-Large模型实现了最先进性能，论辩类型预测准确率相比基线模型最高提升11%。
• 当有足够上下文时，该模型在常见论辩类型（如“判例法适用”、“必要性/比例性”）上表现良好，但在稀有类型上表现不佳，原因在于训练信号不足。
• 在不同ECHR条款的判决间进行泛化时，性能最高下降27%，表明不同法律条款间的论辩模式存在显著差异。
• 专家分析表明，模型在稀有论辩类型上的错误通常源于上下文不足，且在这些情况下，模型预测有时比标准标注更具说服力。
• 用于预测案件重要性的SVM模型未表现出强区分能力，表明无论案件被认为重要与否，ECHR判决均保持一致标准，大多数案件的论辩类型分布相似。
• 完整数据集与代码已以开放许可证公开发布，支持可复现性，并推动法律论辩挖掘领域的进一步研究。