[论文解读] A Benchmark for Lease Contract Review

Spyretta Leivaditi, Julien Rossi+1 more|arXiv (Cornell University)|Oct 20, 2020

Artificial Intelligence in Law参考文献 24被引用 27

一句话总结

本文提出了一项新的基准数据集，包含179份人工标注的租赁合同，用于法律信息抽取，定义了合同审查中关键的实体和风险信号。提出 ALeaseBERT 模型，该模型是在租赁特定数据上预训练并微调的语言模型，在风险信号检测（MAP: 0.5733）和实体识别（F1: 0.54）方面建立了强有力的基线，为未来自动化租赁合同分析研究奠定了基础。

ABSTRACT

Extracting entities and other useful information from legal contracts is an important task whose automation can help legal professionals perform contract reviews more efficiently and reduce relevant risks. In this paper, we tackle the problem of detecting two different types of elements that play an important role in a contract review, namely entities and red flags. The latter are terms or sentences that indicate that there is some danger or other potentially problematic situation for one or more of the signing parties. We focus on supporting the review of lease agreements, a contract type that has received little attention in the legal information extraction literature, and we define the types of entities and red flags needed for that task. We release a new benchmark dataset of 179 lease agreement documents that we have manually annotated with the entities and red flags they contain, and which can be used to train and test relevant extraction algorithms. Finally, we release a new language model, called ALeaseBERT, pre-trained on this dataset and fine-tuned for the detection of the aforementioned elements, providing a baseline for further research

研究动机与目标

• 为解决租赁合同这一关键但研究不足的合同类型在标注数据和专用系统方面的缺乏，推动其自动化审查。
• 定义并形式化租赁合同审查中的两个关键要素：命名实体（如当事人、日期、金额）和风险信号（如提前终止条款），以指示法律或财务风险。
• 创建一个公开可用的新基准数据集，包含179份人工标注的租赁合同，用于训练和评估信息抽取模型。
• 开发并发布 ALeaseBERT，一个基于租赁数据预训练的领域专用语言模型，并针对实体和风险信号检测进行微调。
• 为未来法律自然语言处理研究，特别是租赁合同自动化，建立强有力的基线。

提出的方法

• 通过专家人工标注，对179份租赁合同进行标注，涵盖11种实体类型（如出租人、承租人、租赁起止日期、租金金额）和10种风险信号类型（如提前终止、单方面变更）。
• 在全部179份租赁合同的语料库上，对基于BERT的领域专用模型（ALeaseBERT）进行预训练，以适应法律术语和结构。
• 对 ALeaseBERT 进行微调，用于两个下游任务：序列标注（用于实体检测）和句子级分类（用于风险信号检测）。
• 使用条件随机场（CRF）模型作为命名实体识别的基线，使用 TF-IDF + 随机森林模型作为风险信号排序的基线。
• 使用标准自然语言处理指标评估模型：F1、精确率、召回率、MAP，以及排序任务的 IP@R=0.8。
• 通过消融实验比较从零开始训练、在通用领域 BERT 上预训练，以及在租赁数据上进行额外预训练的模型，以验证领域适应的有效性。

实验结果

研究问题

• RQ1 在自动化租赁合同审查中，哪些是最重要的实体类型和风险信号类型？
• RQ2 与通用模型相比，领域自适应语言模型（ALeaseBERT）在租赁合同中检测实体和风险信号的性能如何？
• RQ3 微调后的语言模型是否能优于传统机器学习基线（如 TF-IDF + 随机森林）在风险信号检测中的表现？
• RQ4 在领域特定语料库上进行预训练在多大程度上提升了租赁合同信息抽取的性能？
• RQ5 实体和风险信号检测中的主要失败模式是什么？未来工作应如何应对？

主要发现

• ALeaseBERT 模型在风险信号检测中取得了 0.5733 的 MAP 分数，显著优于 TF-IDF + 随机森林基线（0.4992）和通用领域 ALBERT base 模型（0.5227）。
• 在召回率 0.8 时的精确率（IP@R=0.8）为 0.3579，表明人类用户需审查约三倍数量的风险信号才能检索到 80% 的目标信号，凸显在高召回场景下仍有较大改进空间。
• 在实体检测方面，ALeaseBERT 的 F1 得分（加权平均）为 0.54，优于 CRF 基线（F1: 0.43），但两者在 '租赁到期日' 实体类型上均表现不佳，原因在于样本频率过低。
• 研究发现，仅在租赁语料库上进行预训练仍不充分；在领域特定语料库上进行额外预训练能显著提升风险信号检测性能，表明微调对领域适应至关重要。
• 实体和风险信号检测任务仍具挑战性，尤其对罕见实体类型和复杂风险信号模式，表明当前模型对深层语义理解仍不足，主要依赖表面语言线索。
• 作者指出未来工作机会，包括利用实体识别信号改进风险信号检测，以及应用少样本或零样本学习方法应对低资源实体类型。