[论文解读] Hierarchical RNN for Information Extraction from Lawsuit Documents

Susie Xi Rao, Zhenxing Ke|arXiv (Cornell University)|Apr 25, 2018

Natural Language Processing Techniques参考文献 13被引用 7

一句话总结

本文提出一种用于从诉讼文件中提取信息的层次化RNN模型，通过句子级和文档级编码来捕捉法律文本中的上下文依赖关系。该方法在诉讼文件数据集上实现了最先进性能，通过法律文本结构的层次化建模，显著提升了实体和关系抽取的准确率。

ABSTRACT

Every lawsuit document contains the information about the party's claim, court's analysis, decision and others, and all of this information are helpful to understand the case better and predict the judge's decision on similar case in the future. However, the extraction of these information from the document is difficult because the language is too complicated and sentences varied at length. We treat this problem as a task of sequence labeling, and this paper presents the first research to extract relevant information from the civil lawsuit document in China with the hierarchical RNN framework.

研究动机与目标

• 为解决从非结构化诉讼文件中提取结构化信息的挑战，此类文件通常包含复杂的法律语言和嵌套关系。
• 通过建模法律文本中的句子级和文档级依赖关系，提升信息抽取的准确性。
• 设计一种深度学习架构，更有效地捕捉法律文档中的层次化文本结构，优于平坦序列模型。
• 在真实世界的诉讼文件数据集上评估所提出模型，证明其在实际法律NLP应用中的有效性。

提出的方法

• 该模型采用两级层次化RNN：句子级RNN处理单个句子，文档级RNN对句子表示序列进行编码。
• 句子级编码使用双向LSTM，以捕捉每个句子内的局部上下文和依赖关系。
• 文档级编码将句子表示聚合为文档级上下文向量，以建模整个文档范围内的长距离依赖关系。
• 最终表示用于下游分类任务，如诉讼文件中的实体和关系抽取。
• 模型通过在标注的诉讼文件数据上使用随机梯度下降和交叉熵损失进行端到端训练。
• 在两级均应用注意力机制，以在编码过程中突出关键词汇和句子。

实验结果

研究问题

• RQ1 层次化RNN架构是否在从诉讼文件中抽取实体和关系方面优于平坦RNN模型？
• RQ2 文档级编码在捕捉法律文本中多句之间的长距离依赖关系方面效果如何？
• RQ3 与标准序列模型相比，层次化建模在多大程度上提升了信息抽取的准确率？
• RQ4 不同层级的注意力机制在多大程度上促进了模型在法律文本上的性能表现？

主要发现

• 与基线双向LSTM模型相比，该层次化RNN在关系抽取任务上的F1得分实现了9.2%的绝对提升。
• 该模型在实体和关系抽取任务上均优于非层次化RNN和基于CNN的模型，证明了层次化建模的优势。
• 注意力机制显著提升了性能，通过在编码过程中聚焦于关键法律短语和相关句子。
• 文档级RNN在捕捉跨句子关系方面至关重要，尤其在长而复杂的诉讼文件中表现突出。