[论文解读] BERT Goes to Law School: Quantifying the Competitive Advantage of Access to Large Legal Corpora in Contract Understanding

Emad Elwany, D. Moore+1 more|arXiv (Cornell University)|Nov 1, 2019

Artificial Intelligence in Law参考文献 6被引用 33

一句话总结

本文表明在大型、领域特定的法律语料库上对 BERT 进行微调可以带来边际但有意义的改进，以分类合同条款并加速训练，暗示大型未注释的法律语料库具有竞争优势。

ABSTRACT

Fine-tuning language models, such as BERT, on domain specific corpora has proven to be valuable in domains like scientific papers and biomedical text. In this paper, we show that fine-tuning BERT on legal documents similarly provides valuable improvements on NLP tasks in the legal domain. Demonstrating this outcome is significant for analyzing commercial agreements, because obtaining large legal corpora is challenging due to their confidential nature. As such, we show that having access to large legal corpora is a competitive advantage for commercial applications, and academic research on analyzing contracts.

研究动机与目标

• 评估领域特定法律语料库如何影响基于 BERT 的合同分类性能。
• 量化在法律文本上微调 BERT 与使用预训练 BERT 相比的性能提升。
• 考察法律语料库规模的增加如何影响最终任务的准确性和训练速度。

提出的方法

• 在从数十万份协议中提取的专有法律语料库上微调 BERT-Base uncased 模型。
• 比较基线的词袋模型+神经分类器、带有和不带最终任务微调的 BERT，以及 BERT 层未冻结与冻结的变体。
• 在手工标注的合同条款分类任务上进行评估（固定条款与自动续签）。
• 使用基于验证损失的提前停止的训练/验证/测试拆分。
• 报告指标：Precision、Recall、F1，以及 MCC（加权）。
• 在不同配置下呈现实验结果，以评估领域特定微调与语料库规模的影响。

实验结果

研究问题

• RQ1 预训练的 BERT 是否在法律合同分类方面优于基线词汇模型？
• RQ2 在大规模法律语料库上进一步微调 BERT 是否比仅使用预训练模型能提高性能？
• RQ3 用于微调的法律语料库规模增加如何影响准确性和训练效率？
• RQ4 冻结 BERT 层对这一最终任务是有害还是有益，以及最终任务微调如何与之互动？

主要发现

模型	精确率	召回率	F1	MCC
Baseline	0.848	0.846	0.845	0.689
BERT	0.898	0.895	0.894	0.789
FT BERT (SM)	0.900	0.898	0.898	0.795
FT BERT (LG)	0.904	0.903	0.901	0.799

• 预训练的 BERT 相较于基线词袋方法有提升。
• 在法律语料库上对 BERT 进行微调相对于预训练模型带来额外的性能提升。
• 在微调的同时解冻 BERT 层在所有测试配置中取得最强的结果。
• 用于微调的更大法律语料库在准确性上提供进一步提升，并加快训练收敛。
• 即使未注释，大型法律语料库也构成法律 NLP 应用的宝贵资产和竞争优势。