[论文解读] LegalRelectra: Mixed-domain Language Modeling for Long-range Legal Text Comprehension

Wenyue Hua, Yuchen Zhang+3 more|arXiv (Cornell University)|Dec 16, 2022

Artificial Intelligence in Law被引用 5

一句话总结

LegalRelectra 是一种基于 Reformer 的 Electra 框架，在法律和医学语料上进行混合领域预训练的混合领域语言模型，可实现个人伤害案件中的长距离文本理解。由于架构改进和领域特定分词，其在长达 8,092 个 token 的长文本中，对法律和医学术语的命名实体识别性能优于通用模型和单领域模型。

ABSTRACT

The application of Natural Language Processing (NLP) to specialized domains, such as the law, has recently received a surge of interest. As many legal services rely on processing and analyzing large collections of documents, automating such tasks with NLP tools emerges as a key challenge. Many popular language models, such as BERT or RoBERTa, are general-purpose models, which have limitations on processing specialized legal terminology and syntax. In addition, legal documents may contain specialized vocabulary from other domains, such as medical terminology in personal injury text. Here, we propose LegalRelectra, a legal-domain language model that is trained on mixed-domain legal and medical corpora. We show that our model improves over general-domain and single-domain medical and legal language models when processing mixed-domain (personal injury) text. Our training architecture implements the Electra framework, but utilizes Reformer instead of BERT for its generator and discriminator. We show that this improves the model's performance on processing long passages and results in better long-range text comprehension.

研究动机与目标

• 解决标准 BERT 模型 512 个 token 限制下法律文本长距离理解的挑战。
• 改善混合领域法律和医学文本（如包含法律和临床术语的个人伤害案件）的处理能力。
• 通过在 Electra 框架中用基于 Reformer 的生成器和判别器替换 BERT 组件，提升长上下文处理能力。
• 评估领域特定分词与标准 BERT 分词在法律和医学命名实体识别任务中的性能影响。
• 在长法律文档中，针对原告、被告、医学状况和案件类型等下游命名实体识别任务，展示卓越性能。

提出的方法

• 采用 Electra 框架，但将 BERT 的生成器和判别器替换为基于 Reformer 的组件，以支持长达 8,092 个 token 的长上下文处理。
• 在法律、医学和个人伤害文本的混合语料上对 LegalRelectra 进行预训练，以捕捉两个领域的领域特定术语。
• 训练了针对法律和医学术语的自定义领域特定分词器，相比标准 BERT 分词，显著提升了复杂术语的识别能力。
• 在 Electra 设置中利用判别器通过掩码和重建 token 来优化预测，增强表征学习。
• 使用部分自动化的标注流程，在命名实体识别（NER）下游任务上对模型进行微调，涵盖法律和医学实体。
• 在法律和医学实体识别的 F1 分数上，与通用和专用模型（如 BERT、Clinical-Bert、Legal-Bert）进行性能对比评估。

实验结果

研究问题

• RQ1 基于 Reformer 的 Electra 架构是否能显著提升法律文档中超过 BERT 512 个 token 限制的长距离文本理解能力？
• RQ2 在混合法律和医学语料上进行预训练，是否能提升在法律和医学命名实体识别任务上的表现，优于单领域模型？
• RQ3 在法律和医学术语识别方面，领域特定分词与标准 BERT 分词相比，准确率如何？
• RQ4 与标准微调方法相比，Electra 训练框架在长法律文本上的性能提升程度如何？
• RQ5 一个单一模型是否能有效处理横跨法律和医学领域的个人伤害案件所涉及的句法和词汇复杂性？

主要发现

• LegalRelectra 在命名实体识别任务中，对原告、被告等法律实体的识别性能优于 BERT 和 Legal-Bert，尤其在上下文至关重要的长文档中表现更优。
• 与所有基线模型相比，LegalRelectra 在法律实体识别任务中取得了更高的 F1 分数，证明了基于 Reformer 的架构在长距离理解方面的优势。
• LegalRelectra 在医学术语识别方面表现优异，仅次于 Clinical-Bert，表明混合领域预训练有效提升了模型学习能力。
• 使用领域特定分词器相比标准 BERT 分词器，显著提升了医学实体识别性能，后者在复杂医学术语上表现较差。
• 基于 Reformer 的训练方式带来了更高的召回率而非精确率，但整体 F1 分数仍高于基线模型，证实了该框架在此场景下的有效性。
• 即使关键法律信息（如案件类型和伤害类型）位于长文档开头，模型仍能稳健提取。