[论文解读] JNLP Team: Deep Learning for Legal Processing in COLIEE 2020

Ha-Thanh Nguyen, Hai-Yen Thi Vuong+8 more|arXiv (Cornell University)|Nov 4, 2020

Topic Modeling参考文献 4被引用 21

一句话总结

JNLP团队在COLIEE 2020中提出了一种深度学习方法，用于法律文本处理，通过在大规模法律数据上微调基于BERT的模型——特别是BERT Law——来提升法律检索与文本蕴涵性能。该方法实现了最先进水平的性能表现，BERT Law在任务4中的准确率相比BERT-base-uncased高出15.5%，证明了领域特定预训练在法律NLP任务中的有效性。

ABSTRACT

We propose deep learning based methods for automatic systems of legal retrieval and legal question-answering in COLIEE 2020. These systems are all characterized by being pre-trained on large amounts of data before being finetuned for the specified tasks. This approach helps to overcome the data scarcity and achieve good performance, thus can be useful for tackling related problems in information retrieval, and decision support in the legal domain. Besides, the approach can be explored to deal with other domain specific problems.

研究动机与目标

• 通过在法律文本上进行大规模预训练，缓解法律NLP中的数据稀缺问题，以提升模型泛化能力。
• 构建一种结合深度学习与词法匹配（BM25）的混合系统，以增强检索与蕴涵性能。
• 通过引入专为法律优化的BERT变体BERT Law，探究领域特定预训练的影响。
• 通过结合弱标签支持关系与神经评分方法，提升法律问答与案例检索性能。
• 在真实世界数据约束下，评估模型在多个法律任务（包括检索与文本蕴涵）中的稳定性与性能表现。

提出的方法

• 在通过启发式方法从判例文档中自动提取的支持文本对弱标签数据集上微调一个BERT基础模型。
• 使用加权融合结合BERT支持得分与BM25词法相似度得分：$score = \alpha \cdot score_{supporting} + (1 - \alpha) \cdot score_{BM25}$。
• 在大量日本与加拿大法律文件语料上预训练专用的BERT Law模型，以提升领域适应能力。
• 通过法律语句与过往法考问题的数据增强，扩展法律合规性分类任务的训练数据。
• 针对任务4采用两种不同方法：(1) 使用黄金标准或TF-IDF检索的文献进行文本蕴涵；(2) 使用BERT Law进行法律合规性二分类。
• 利用10%的开发集进行超参数优化与模型选择，最终在黄金测试数据上进行评估。

实验结果

研究问题

• RQ1 与通用领域BERT相比，使用BERT Law进行领域特定预训练是否能显著提升法律文本处理任务的性能？
• RQ2 在法律检索任务中，结合深度学习与词法相似度（BM25）是否优于单独使用任一方法？
• RQ3 在文本蕴涵任务的训练中，使用TF-IDF检索的补充文献是否优于仅使用黄金标准数据？
• RQ4 数据质量与数量如何影响微调BERT模型在法律NLP基准中的性能表现？
• RQ5 通过启发式方法获得的弱标签数据能否有效训练法律案例检索中的支持关系分类器？

主要发现

• BERT Law在法律合规性分类任务的开发集上达到81.68%的准确率，显著优于BERT-base-uncased的77.84%。
• 在任务4的黄金测试集上，BERT Law达到72.32%的准确率，相比BERT-base-uncased（56.25%）提升15.5%，相比Tf-idf + BERT-base（55.36%）提升16.0%。
• 使用TF-IDF检索的补充文献进行训练，使文本蕴涵任务性能提升1.39个百分点（0.5417 vs. 0.5278），优于仅使用黄金数据。
• 结合BERT支持得分与BM25词法相似度的混合评分模型，通过融合深度学习与词法匹配的优势，提升了检索性能。
• 结果表明，领域特定预训练（BERT Law）在实现法律NLP高性能表现中至关重要，尤其在低资源场景下。
• 尽管测试数据存在波动，BERT Law在多次评估中均表现出一致且显著的性能提升，表明其在法律文本理解方面具备强大的泛化能力与鲁棒性。