[论文解读] Cross-Domain Generalization and Knowledge Transfer in Transformers Trained on Legal Data

Jaromír Šavelka, Hannes Westermann+1 more|arXiv (Cornell University)|Dec 14, 2021

Artificial Intelligence in Law被引用 9

一句话总结

本文通过在来自不同法域的三个不同判例法数据集上微调预训练的变换器模型（如 RoBERTa），研究了法律 NLP 中的跨领域泛化与知识迁移问题，每个数据集均使用独特的类型系统标注了修辞角色。尽管存在领域和词汇差异，但在一个数据集上微调的模型在其他数据集上仍能有效泛化，RoBERTa 在未见数据集上的 F1 分数最高达到 0.93，表明其在联合数据上训练时具有强大的可迁移性和鲁棒性。

ABSTRACT

We analyze the ability of pre-trained language models to transfer knowledge among datasets annotated with different type systems and to generalize beyond the domain and dataset they were trained on. We create a meta task, over multiple datasets focused on the prediction of rhetorical roles. Prediction of the rhetorical role a sentence plays in a case decision is an important and often studied task in AI & Law. Typically, it requires the annotation of a large number of sentences to train a model, which can be time-consuming and expensive. Further, the application of the models is restrained to the same dataset it was trained on. We fine-tune language models and evaluate their performance across datasets, to investigate the models' ability to generalize across domains. Our results suggest that the approach could be helpful in overcoming the cold-start problem in active or interactvie learning, and shows the ability of the models to generalize across datasets and domains.

研究动机与目标

• 评估预训练语言模型是否能够将在不同法律领域和法域之间迁移知识。
• 评估在某一数据集上训练的模型是否能在具有不同类型系统和法律背景的另一数据集上表现良好。
• 调查结合多个数据集是否能提升模型的鲁棒性和性能。
• 比较 BERT/RoBERTa 模型与传统 SVM 在法律文本分类中的泛化能力。
• 探索利用迁移学习解决法律 NLP 中主动学习或交互式学习的冷启动问题的可行性。

提出的方法

• 在来自不同国家和法律领域的三个独立法律数据集上微调 RoBERTa 和 SVM 模型，每个数据集均使用独特的类型系统标注修辞角色。
• 将所有数据集重新映射为统一的元类型系统，以支持跨数据集评估和模型比较。
• 在单个数据集和多个数据集组合的联合数据上训练模型，以评估迁移性能。
• 使用每个数据集的测试集上的 F1 分数评估模型性能，包括零样本预测（目标领域无训练数据）。
• 在所有跨领域和多领域设置中，比较 RoBERTa（预训练变换器）与 SVM（传统机器学习分类器）的性能。
• 采用标准化评估协议，确保模型和数据集之间公平比较，重点关注零样本和少样本泛化。

实验结果

研究问题

• RQ1 在某一法律数据集上微调的模型是否能有效泛化到另一法域和法律领域中的不同数据集？
• RQ2 由于其预训练的语言理解能力，RoBERTa 模型是否在跨领域泛化中优于传统 SVM？
• RQ3 在多个数据集上进行训练是否能提升模型在未见领域中的鲁棒性和性能？
• RQ4 不同修辞角色标注的类型系统在多大程度上可以统一，以实现跨数据集的迁移学习？
• RQ5 从一个数据集迁移的知识是否能帮助在低资源法律 NLP 设置中启动主动或交互式学习？

主要发现

• RoBERTa 模型在仅在 CB 数据集上训练后，对 BVA 数据集的预测 F1 分数达到 0.93，展示了在不同领域之间强大的零样本泛化能力。
• 在 CB 和 ISC 数据集上联合训练 RoBERTa 后，其在 BVA 数据集上的性能（F1 = 0.85）优于仅在任一数据集上训练的结果（CB：0.84，ISC：0.67）。
• SVM 模型在域外预测中的表现显著较差，未见数据集上的 F1 分数低至 0.41，凸显其泛化能力有限。
• 在多个数据集的联合数据上训练的模型，不仅在源领域保持高性能，还在未训练过的靶域中提升了表现，表明其鲁棒性增强。
• 在某些跨领域预测中，RoBERTa 模型比 SVM 模型的 F1 分数高出最多 0.50，表明其在语义抽象方面优于依赖领域特定词汇的模型。
• 结果证实，尽管存在类型系统、法域和法律领域差异，但修辞角色分类任务的本质具有足够关联性，使得预训练变换器能够实现有效的迁移学习。