[论文解读] Can Fine-tuning Pre-trained Models Lead to Perfect NLP? A Study of the Generalizability of Relation Extraction.

Ningyu Zhang, Luoqiu Li+5 more|arXiv (Cornell University)|Sep 14, 2020

Topic Modeling被引用 10

一句话总结

本研究通过在随机化、对抗性以及反事实扰动下评估鲁棒性，以及分析选择偏差和语义偏差，探究了微调后 BERT 在关系抽取中的泛化极限。尽管在标准基准测试中表现强劲，BERT 仍表现出显著的泛化瓶颈，凸显了未来模型改进中的关键差距。

ABSTRACT

Fine-tuning pre-trained models have achieved impressive performance on standard natural language processing benchmarks. However, the resultant model generalizability remains poorly understood. We do not know, for example, how excellent performance can lead to the perfection of generalization models. In this study, we analyze a fine-tuned BERT model from different perspectives using relation extraction. We also characterize the differences in generalization techniques according to our proposed improvements. From empirical experimentation, we find that BERT suffers a bottleneck in terms of robustness by way of randomizations, adversarial and counterfactual tests, and biases (i.e., selection and semantic). These findings highlight opportunities for future improvements. Our open-sourced testbed DiagnoseRE is available in this https URL.

研究动机与目标

• 评估微调后的 BERT 模型在关系抽取任务中超越标准基准性能的泛化能力。
• 通过系统性鲁棒性测试，识别 BERT 泛化中的具体失败模式。
• 描述选择偏差和语义偏差如何影响关系抽取中模型的可靠性。
• 开发并发布诊断测试平台 DiagnoseRE，以支持对模型泛化能力的可复现评估。

提出的方法

• 在标准关系抽取数据集上微调 BERT，以建立强基线性能。
• 应用随机化测试以评估模型对输入扰动的敏感性。
• 实施对抗性攻击，以评估模型在针对输入修改的鲁棒性。
• 通过改变输入句子执行反事实测试，以检验预测的逻辑一致性。
• 通过在不同标签分布的数据子集上评估模型行为，分析选择偏差。
• 通过探测模型对特定词汇或句法模式的依赖性，研究语义偏差。

实验结果

研究问题

• RQ1 微调后的 BERT 在关系抽取中，其泛化能力在多大程度上超越了标准基准？
• RQ2 随机化、对抗性和反事实扰动在多大程度上影响 BERT 的预测一致性？
• RQ3 选择偏差和语义偏差在多大程度上削弱了 BERT 的泛化性能？
• RQ4 系统性诊断测试能否识别出预训练模型中一致的失败模式？

主要发现

• 微调后的 BERT 在对抗性和反事实扰动下表现出显著的性能下降，表明其鲁棒性较差。
• 随机化测试表明，BERT 的预测对输入的微小变化敏感，暗示其泛化能力有限。
• 选择偏差显著影响模型行为，尤其在低频关系类型上的性能明显下降。
• 语义偏差导致 BERT 依赖表面线索而非句法或语义推理，从而降低泛化能力。
• 当核心指代或改写改变句子结构时，模型无法保持一致的预测。
• 开源的 DiagnoseRE 测试平台使得这些泛化失败的可复现评估成为可能。