[论文解读] Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents

Chaojun Xiao, Xueyu Hu+3 more|arXiv (Cornell University)|May 9, 2021

Artificial Intelligence in Law参考文献 33被引用 15

一句话总结

Lawformer 是一种基于 Longformer 的预训练中文法律长文档语言模型，通过局部滑动窗口注意力和全局任务特定注意力机制，有效处理数千 token 的长序列。该模型在判决预测、案例检索和阅读理解等法律任务上达到最先进性能，在长上下文输入上优于标准模型，同时在短文本输入上也保持强劲表现。

ABSTRACT

Legal artificial intelligence (LegalAI) aims to benefit legal systems with the technology of artificial intelligence, especially natural language processing (NLP). Recently, inspired by the success of pre-trained language models (PLMs) in the generic domain, many LegalAI researchers devote their effort to apply PLMs to legal tasks. However, utilizing PLMs to address legal tasks is still challenging, as the legal documents usually consist of thousands of tokens, which is far longer than the length that mainstream PLMs can process. In this paper, we release the Longformer-based pre-trained language model, named as Lawformer, for Chinese legal long documents understanding. We evaluate Lawformer on a variety of LegalAI tasks, including judgment prediction, similar case retrieval, legal reading comprehension, and legal question answering. The experimental results demonstrate that our model can achieve promising improvement on tasks with long documents as inputs.

研究动机与目标

• 为解决处理长篇中文法律文档的挑战，这些文档通常超过 512 个 token，且标准预训练语言模型难以有效处理。
• 开发一种面向刑事和民事案件法律文本理解的领域特定预训练语言模型。
• 在多样化的 LegalAI 任务上评估该模型，包括判决预测、案例检索、阅读理解及问答任务。
• 构建新的、大规模的法律判决预测数据集，覆盖刑事和民事案件，提升真实世界数据分布的覆盖度。
• 证明长序列建模能力显著提升对长篇法律文档深度理解任务的性能表现。

提出的方法

• 采用 Longformer 架构，结合局部滑动窗口自注意力与选择性全局注意力，高效处理长序列。
• 在数千万篇中文刑事与民事案件文档构成的大规模语料上预训练 Lawformer。
• 仅在关键 token（如问答任务中的问题）上使用全局注意力，以在不增加全连接自注意力计算成本的前提下保留长距离依赖关系。
• 使用标准分类头和序列标注头，在下游 LegalAI 任务上微调 Lawformer。
• 构建覆盖刑事与民事案件平衡的法律判决预测新数据集，提升数据分布的真实性。
• 通过微调在现有基准上应用迁移学习，涵盖相似案例检索、法律阅读理解及法律问答任务。

实验结果

研究问题

• RQ1 预训练语言模型能否有效处理长达数千 token 的中文法律文档，从而克服标准 PLM 的序列长度限制？
• RQ2 在长输入序列的法律任务上，Lawformer 与 RoBERTa 及基于 BERT 的模型相比表现如何？
• RQ3 在法律文档上进行领域内预训练，能在多大程度上提升法律判决预测及其他法律 NLP 任务的性能？
• RQ4 在关键输入片段（如问题）上集成全局注意力，是否能增强法律问答与阅读理解中的推理能力？
• RQ5 Lawformer 是否能在涵盖长上下文与短上下文输入的多样化法律任务上实现一致的性能提升？

主要发现

• 在法律阅读理解任务上，Lawformer 达到 55.02% 的 EM 和 69.98% 的 F1，优于 RoBERTa（53.81% EM，68.86% F1）与 L-RoBERTa（54.12% EM，69.76% F1），展现出更优的长上下文理解能力。
• 在法律问答任务中，Lawformer 在单答案问题上达到 45.81% 的准确率，在所有问题上达到 27.43%，略胜于 L-RoBERTa，且在任务复杂度较高的情况下仍表现强劲。
• Lawformer 显著提升了涉及长文档的判决预测任务性能，尤其在与在非领域语料上预训练的模型相比时优势明显。
• 该模型在短输入上也保持了具有竞争力的性能，在短序列任务上与 RoBERTa 表现相当，表明其在不同输入长度下均具备鲁棒性。
• 新构建的涵盖刑事与民事案件的法律判决预测数据集，使评估更具现实性，且泛化能力优于现有数据集。
• 大量消融实验表明，在关键 token（如问题）上使用全局注意力，对长上下文推理任务的性能保持至关重要。