[论文解读] Billions of Parameters Are Worth More Than In-domain Training Data: A case study in the Legal Case Entailment Task

Guilherme Moraes Rosa, Luiz Bonifacio+4 more|arXiv (Cornell University)|May 30, 2022

Topic Modeling被引用 4

一句话总结

本文展示了将零样本语言模型扩展至30亿参数后，在法律案例蕴含任务上的性能显著提升，超越了COLIEE 2022竞赛中所有微调模型和集成模型。作者表明，即使未进行领域内微调，更大的模型也比小模型泛化能力更强，凸显了在低资源法律NLP场景下，模型规模的重要性超过领域特定训练数据的价值。

ABSTRACT

Recent work has shown that language models scaled to billions of parameters, such as GPT-3, perform remarkably well in zero-shot and few-shot scenarios. In this work, we experiment with zero-shot models in the legal case entailment task of the COLIEE 2022 competition. Our experiments show that scaling the number of parameters in a language model improves the F1 score of our previous zero-shot result by more than 6 points, suggesting that stronger zero-shot capability may be a characteristic of larger models, at least for this task. Our 3B-parameter zero-shot model outperforms all models, including ensembles, in the COLIEE 2021 test set and also achieves the best performance of a single model in the COLIEE 2022 competition, second only to the ensemble composed of the 3B model itself and a smaller version of the same model. Despite the challenges posed by large language models, mainly due to latency constraints in real-time applications, we provide a demonstration of our zero-shot monoT5-3b model being used in production as a search engine, including for legal documents. The code for our submission and the demo of our system are available at https://github.com/neuralmind-ai/coliee and https://neuralsearchx.neuralmind.ai, respectively.

研究动机与目标

• 探究将大语言模型扩展至更大参数规模是否能在不进行领域内微调的情况下提升法律案例蕴含任务的零样本性能。
• 评估在低资源法律NLP场景中，十亿参数模型是否比小模型泛化能力更强。
• 证明在实际法律文档搜索中部署零样本monoT5-3B模型的可行性。
• 比较不同模型规模下的零样本性能，识别法律蕴含任务的最佳架构。
• 评估答案选择启发式方法在零样本设置下对最终预测质量的影响。

提出的方法

• 作者在法律案例蕴含数据集上使用未经任何微调的零样本T5模型（monoT5）。
• 他们实验了三种模型规模：base（2.2亿参数）、large（7.7亿参数）和30亿参数（monoT5-3b），均采用零样本设置。
• 采用基于置信度的答案选择方法，通过带超参数α、β、γ的加权评分规则组合多个模型的预测结果。
• 该方法将两个模型的答案拼接，去除重复项，并根据置信度阈值选择最高分答案。
• 通过组合monoT5-base和monoT5-3b的输出生成集成预测，提升了鲁棒性和性能。
• 该系统已作为法律搜索引擎在生产环境中部署，尽管存在延迟限制，但仍证明了其在实际应用中的可行性。

实验结果

研究问题

• RQ1 与小模型相比，将语言模型扩展至数十亿参数是否能提升其在法律案例蕴含任务上的零样本性能？
• RQ2 在标注数据稀缺的情况下，零样本模型是否能在法律领域超越微调模型？
• RQ3 在零样本法律NLP任务中，尤其在低资源设置下，模型规模如何影响泛化能力？
• RQ4 启发式答案选择方法在多大程度上提升了零样本预测质量？
• RQ5 大规模零样本模型是否能在实际法律搜索应用中有效部署？

主要发现

• monoT5-3b-zero-shot模型在COLIEE 2021测试集上取得了0.7477的F1分数，超越了2022年竞赛中所有单模型和集成模型的表现。
• 与作者先前的零样本结果相比，30亿参数模型的零样本F1分数提升了超过6个百分点，证实了模型规模的优势。
• monoT5-base与monoT5-3b的集成模型在2022年测试集上取得了0.6783的最高F1分数，位列所有提交结果的第一名。
• 答案选择方法在所有模型上均使F1分数至少提升1个百分点，其中对30亿参数模型的提升最为显著（从0.7373提升至0.7477）。
• 尽管性能有所提升，30亿参数模型仍优于更大的T5-large模型，表明在某些配置下，性能并非随模型规模单调提升。
• 零样本monoT5-3b模型已成功在生产环境中作为法律搜索引擎部署，验证了其在现实场景中的适用性。