[论文解读] LexGLUE: A Benchmark Dataset for Legal Language Understanding in English

Ilias Chalkidis, Abhik Jana+5 more|arXiv (Cornell University)|Oct 3, 2021

Artificial Intelligence in Law被引用 4

一句话总结

LexGLUE 引入了一个标准化基准，用于评估法律文本上的自然语言理解（NLU）模型，该基准包含七个源自现有数据集的多样化法律 NLP 任务。研究显示，经过法律优化的模型在所有任务中均持续优于通用模型，凸显了针对法律领域进行预训练的重要性。

ABSTRACT

Laws and their interpretations, legal arguments and agreements\ are typically expressed in writing, leading to the production of vast corpora of legal text. Their analysis, which is at the center of legal practice, becomes increasingly elaborate as these collections grow in size. Natural language understanding (NLU) technologies can be a valuable tool to support legal practitioners in these endeavors. Their usefulness, however, largely depends on whether current state-of-the-art models can generalize across various tasks in the legal domain. To answer this currently open question, we introduce the Legal General Language Understanding Evaluation (LexGLUE) benchmark, a collection of datasets for evaluating model performance across a diverse set of legal NLU tasks in a standardized way. We also provide an evaluation and analysis of several generic and legal-oriented models demonstrating that the latter consistently offer performance improvements across multiple tasks.

研究动机与目标

• 为解决在多样化法律任务上缺乏标准化评估框架的问题。
• 评估最先进的通用 NLU 模型在法律文本上的泛化能力。
• 评估在法律 NLP 任务上，法律特定预训练相较于通用预训练所能带来的性能提升。
• 为法律 NLP 领域的研究人员和从业者提供一个统一、易访问的入门平台。
• 促进开发适用于法律文本理解的稳健且可泛化的 NLU 模型。

提出的方法

• LexGLUE 基准由七个现有、高质量的法律 NLP 数据集构建而成，其选择标准与 SuperGLUE 类似。
• 数据集涵盖多样化的法律 NLP 任务，包括文本分类、序列标注、自然语言蕴含和问答。
• 该基准支持对通用模型（如 BERT、RoBERTa）和法律优化模型（如 LawBERT、用于法律用途的 BioBERT）的评估。
• 使用标准指标（如 F1、准确率和宏 F1）在所有任务上进行评估。
• 在相同基准上对通用模型与法律领域微调模型进行系统性比较，以隔离领域特定预训练的影响。
• 该基准包含数据预处理、标准化划分以及公开的评估服务器，以确保可复现性和公平性。

实验结果

研究问题

• RQ1 通用预训练语言模型能否在多样化法律 NLP 任务上有效泛化？
• RQ2 法律优化模型在法律文本理解任务中相较于通用模型的性能优势有多大？
• RQ3 领域特定预训练对不同类型法律 NLP 任务的性能影响如何？
• RQ4 像 LexGLUE 这样的统一基准能否作为法律 NLP 研究可靠且可扩展的评估平台？
• RQ5 将通用 NLU 模型应用于法律文本时面临的主要挑战是什么？这些挑战与通用 NLP 任务有何不同？

主要发现

• 在 LexGLUE 基准的七个任务中，法律优化模型始终优于通用模型，证明了领域特定预训练的价值。
• 在 SCOTUS 数据集上，即使表现最佳的通用模型（RoBERTa）也落后于法律优化模型，F1 分数差距显著。
• 在修正了先前因代码错误而虚增结果的问题后，TFIDF-SVM 这一传统基线方法在所有任务中（包括 SCOTUS 数据集）均被深度学习模型显著超越。
• 该基准揭示了法律文本带来的独特挑战，如古旧术语、复杂句法结构和领域专用术语，这些是通用模型难以有效处理的。
• 结果强调了训练数据分布与领域对齐的重要性，因为基于法律语料预训练的模型在法律 NLP 任务上表现出更优的泛化能力。
• LexGLUE 基准被证明是一个可靠且信息丰富的平台，可用于评估和比较法律 NLU 模型，未来具备扩展至更多语言和任务的潜力。