[论文解读] JNLP Team: Deep Learning Approaches for Legal Processing Tasks in COLIEE 2021

Ha-Thanh Nguyen, Phuong Nguyen+7 more|arXiv (Cornell University)|Jun 25, 2021

Artificial Intelligence in Law参考文献 9被引用 9

一句话总结

本论文介绍了JNLP团队在COLIEE 2021竞赛中针对法律文本处理任务所采用的深度学习方法，利用在有限法律数据上微调的BERT及多语言模型。该团队通过结合词汇与语义评分、数据增强以及集成方法，取得了具有竞争力的结果，其中NFSP Base在法条问答任务中表现最优（准确率为60.49%）。

ABSTRACT

COLIEE is an annual competition in automatic computerized legal text processing. Automatic legal document processing is an ambitious goal, and the structure and semantics of the law are often far more complex than everyday language. In this article, we survey and report our methods and experimental results in using deep learning in legal document processing. The results show the difficulties as well as potentials in this family of approaches.

研究动机与目标

• 解决因标注数据有限而导致的COLIEE 2021中低资源法律文本处理挑战。
• 通过深度学习提升案例法检索、蕴含判断及法条问答任务的性能。
• 探究预训练语言模型与混合词汇-语义评分在法律NLP任务中的有效性。
• 通过数据增强与集成学习优化模型鲁棒性与泛化能力。
• 评估跨语言与多语言模型在低资源环境下法律问答任务中的表现。

提出的方法

• 在法律文本上使用领域特定预训练对基于BERT的模型（如BertJp2、NFSP Base、NMSP Base）进行微调。
• 在检索与蕴含任务中，结合词汇（tf-idf、BM25）与语义（基于BERT的句子嵌入）得分对候选结果进行排序。
• 采用tf-idf加权关键词与自标签技术进行数据增强，以提升模型泛化能力。
• 在蕴含与问答任务中，使用滑动窗口（window_size=150, stride=50）对文本进行分块处理，以应对长篇法律文档。
• 采用集成策略，结合多个模型变体（如JNLP.EnssBest）以稳定预测并提升性能。
• 训练模型时延长训练周期（最多20个周期），并通过验证集监控过拟合，选择最优训练时长。

实验结果

研究问题

• RQ1 在数据有限的情况下，混合词汇-语义评分策略在法律文档检索与蕴含任务中的有效性如何？
• RQ2 与传统词汇方法相比，微调后的BERT模型在低资源法律NLP任务中的性能提升程度如何？
• RQ3 数据增强与自标签技术能否提升模型鲁棒性并降低法律文本处理中的方差？
• RQ4 XLM-RoBERTa与BERT多语言模型在低资源环境下的法律问答任务中表现如何？
• RQ5 训练时长与模型架构对法律文本分类与排序任务中泛化能力的影响是什么？

主要发现

• JNLP团队在法条问答任务（任务5）的测试集上取得了60.49%的准确率，优于所有其他参赛提交结果。
• NFSP Base模型在验证集上表现最佳（准确率71.0%），并在盲测集上展现出良好泛化能力。
• 集成模型（JNLP.EnssBest）在多次运行中保持稳定性能，测试集中正确回答51道题（共81道）。
• 增加训练周期可提升模型稳定性，但过度训练会导致过拟合，表明需谨慎进行超参数调优。
• 自标签文本分块技术降低了性能方差，表明在长文档处理中具备更强的抗噪声能力。
• XLM-RoBERTa与蒸馏BERT变体未能从增强数据中有效学习，而BERT多语言模型的表现不及微调后的NFSP与NMSP模型。