[论文解读] Avoiding catastrophic forgetting in mitigating model biases in sentence-pair classification with elastic weight consolidation

James Thorne, Andreas Vlachos|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 15被引用 10

一句话总结

本文提出使用弹性权重巩固（Elastic Weight Consolidation, EWC）来微调预训练模型，以应对句子对分类任务（如自然语言蕴涵和事实验证）中的灾难性遗忘问题，同时最小化对原始任务的遗忘。EWC在对原始数据集性能影响极小的情况下，显著缓解了模型偏差，其表现优于标准微调，在帕累托主导意义下实现性能提升。

ABSTRACT

The biases present in training datasets have been shown to be affecting models for a number of tasks such as natural language inference(NLI) and fact verification. While fine-tuning models on additional data has been used to mitigate such biases, a common issue is that of catastrophic forgetting of the original task. In this paper, we show that elastic weight consolidation (EWC) allows fine-tuning of models to mitigate biases for NLI and fact verification while being less susceptible to catastrophic forgetting. In our evaluation on fact verification systems, we show that fine-tuning with EWC Pareto dominates standard fine-tuning, yielding models lower levels of forgetting on the original task for equivalent gains in accuracy on the fine-tuned task. Additionally, we show that systems trained on NLI can be fine-tuned to improve their accuracy on stress test challenge tasks with minimal loss in accuracy on the MultiNLI dataset despite greater domain shift.

研究动机与目标

• 解决在微调模型以减少句子对分类任务中数据集偏差时出现的灾难性遗忘问题。
• 评估EWC是否能在保持原始任务性能的同时，提升偏差缓解微调任务的准确率。
• 评估EWC在处理显著领域偏移（如事实验证的压力测试挑战）时的有效性。
• 比较基于EWC的微调与标准微调在遗忘程度与准确率增益方面的表现。

提出的方法

• 在微调过程中应用弹性权重巩固（EWC）来正则化模型参数，以保留原始预训练模型中的重要权重。
• 利用费舍尔信息估计参数重要性，从而指导EWC中的正则化强度。
• 在额外数据上微调基于BERT的模型，以缓解自然语言蕴涵（NLI）和事实验证任务中的偏差。
• 在原始MultiNLI数据集和下游偏差缓解任务（包括压力测试挑战）上评估模型性能。
• 采用帕累托支配分析，比较EWC微调与标准微调在遗忘与准确率指标上的表现。
• 通过原始任务与微调后任务的准确率测量模型性能，以量化遗忘程度与性能提升。

实验结果

研究问题

• RQ1 EWC能否在不引起原始任务灾难性遗忘的前提下，有效减少句子对分类中的模型偏差？
• RQ2 在偏差缓解任务中，基于EWC的微调与标准微调相比，在遗忘程度与准确率增益方面有何差异？
• RQ3 当微调涉及从MultiNLI到压力测试挑战等显著领域偏移时，EWC在多大程度上能维持模型性能？
• RQ4 EWC是否能实现模型性能的帕累托改进，即在不损失原始任务性能的前提下，提升新任务的性能？

主要发现

• 在事实验证系统中，EWC微调在帕累托意义上优于标准微调，即在原始任务上遗忘程度更低，同时在微调任务上达到同等或更优的准确率。
• 采用EWC微调的模型在MultiNLI数据集上表现出极小的性能下降，同时在压力测试挑战任务中准确率得到提升。
• 尽管存在显著的领域偏移，EWC增强的模型在原始NLI任务上仍保持强劲性能，同时在偏差缓解基准上获得增益。
• 使用EWC可实现有效的偏差缓解，且未损害模型在原始句子对分类任务上的泛化能力。