[论文解读] Identification of Rhetorical Roles of Sentences in Indian Legal Judgments

Paheli Bhattacharya, Shounak Paul+3 more|arXiv (Cornell University)|Nov 13, 2019

Artificial Intelligence in Law被引用 37

一句话总结

本文研究在印度最高法院判决中给句子标注七种修辞角色，收集了一个金标准注释语料库，并显示深度神经模型在7类序列标注方面优于手工特征的CRF基线。

ABSTRACT

Automatically understanding the rhetorical roles of sentences in a legal case judgement is an important problem to solve, since it can help in several downstream tasks like summarization of legal judgments, legal search, and so on. The task is challenging since legal case documents are usually not well-structured, and these rhetorical roles may be subjective (as evident from variation of opinions between legal experts). In this paper, we address this task for judgments from the Supreme Court of India. We label sentences in 50 documents using multiple human annotators, and perform an extensive analysis of the human-assigned labels. We also attempt automatic identification of the rhetorical roles of sentences. While prior approaches towards this task used Conditional Random Fields over manually handcrafted features, we explore the use of deep neural models which do not require hand-crafting of features. Experiments show that neural models perform much better in this task than baseline methods which use handcrafted features.

研究动机与目标

• 在印度最高法院判决中创建一个高质量的金标准语料库，标注句子级修辞角色。
• 调查七种修辞角色在注释者之间的一致性与主观性。
• 开发并评估用于法律文本自动7类句子标注的神经网络模型。

提出的方法

• 使用三名注释者对五个领域的50份最高法院判决进行七个修辞标签的标注。
• 使用GATE注释，结合严格、宽松和平均F分数分析注释者间一致性。
• 将句子标注视为7类序列标注问题。
• 实现带有手工特征的基线CRF模型，特征来自以往工作。
• 开发两种神经网络架构：(i) 分层BiLSTM分类器，(ii) 分层BiLSTM-CRF分类器。
• 尝试随机和预训练的句子嵌入（在大量法律文档上训练）。

实验结果

研究问题

• RQ1 深度神经模型是否能够在没有手工特征的情况下自动识别印度法律判决中的句子级修辞角色？
• RQ2 人类注释者在修辞角色标注上的一致性程度如何，与模型的一致性相比如何？
• RQ3 预训练的领域特定嵌入对于该任务是否比随机初始化提高性能？
• RQ4 在长法律文档序列的情况下，是否在BiLSTM之上添加CRF层能带来显著提升？
• RQ5 模型在印度司法系统不同法律领域之间的泛化能力如何？

主要发现

• 神经模型在宏观F分数上显著优于手工特征CRF基线（例如，Hier-BiLSTM-CRF在使用预训练嵌入时达到约0.82–0.82以上）。
• 预训练的法律领域嵌入在两种神经模型上相对于随机初始化显著提升性能。
• 在此情境下，Hier-BiLSTM-CRF相较于Hier-BiLSTM仅有适度提升，因为序列较长且数据有限。
• 最佳模型在五个领域中的性能保持一致（宏观F分数在0.82–0.86区间），除了劳工与工业法领域，IAA较低。
• 对某些标签对（如Ratio与PRE/Fac）存在显著的人类注释者主观性，模型也存在混淆。
• 一致性分析显示模型性能与人类分歧模式一致，表明某些标签对确实存在固有主观性。