[论文解读] Improved OOD Generalization via Adversarial Training and Pre-training

Mingyang Yi, Lu Hou+5 more|arXiv (Cornell University)|May 24, 2021

Adversarial Robustness in Machine Learning参考文献 49被引用 8

一句话总结

本文通过利用对抗训练和预训练来提升输入鲁棒性，从而改善机器学习中的分布外（OOD）泛化性能。理论上，本文证明了通过对抗训练实现的输入鲁棒模型在OOD数据上具有更好的泛化能力，其过量风险被界为𝒪̃(1/√n + 1/T)。实验上，对抗训练和对抗预训练模型在图像和自然语言处理基准测试中均展现出改进的OOD性能。

ABSTRACT

Recently, learning a model that generalizes well on out-of-distribution (OOD) data has attracted great attention in the machine learning community. In this paper, after defining OOD generalization via Wasserstein distance, we theoretically show that a model robust to input perturbation generalizes well on OOD data. Inspired by previous findings that adversarial training helps improve input-robustness, we theoretically show that adversarially trained models have converged excess risk on OOD data, and empirically verify it on both image classification and natural language understanding tasks. Besides, in the paradigm of first pre-training and then fine-tuning, we theoretically show that a pre-trained model that is more robust to input perturbation provides a better initialization for generalization on downstream OOD data. Empirically, after fine-tuning, this better-initialized model from adversarial pre-training also has better OOD generalization.

研究动机与目标

• 解决机器学习中OOD泛化性能缺乏理论理解的问题。
• 利用Wasserstein距离量化分布偏移，探究输入鲁棒性与OOD泛化之间的关联。
• 证明对抗训练通过增强输入鲁棒性，可改善OOD泛化性能。
• 探索对抗预训练在微调范式中如何改善下游OOD泛化的初始化。
• 通过在图像分类和自然语言理解任务上的大量实验，验证理论假设。

提出的方法

• 使用Wasserstein距离定义OOD泛化，以衡量测试数据与训练数据之间的分布偏移。
• 理论上证明：对输入扰动具有鲁棒性的模型在OOD数据上也能实现良好泛化。
• 证明对抗训练模型在多步SGD中可实现𝒪̃(1/T)的收敛速率，从而在OOD数据上获得有界的过量风险：𝒪̃(1/√n + 1/T)。
• 提出对抗预训练作为改善下游OOD泛化初始化的方法。
• 在CIFAR10、ImageNet和基于BERT的模型上，使用标准超参数应用ℓ₂和ℓ∞扰动的对抗训练。
• 在CIFAR10-C和ImageNet-C上使用标准评估协议评估OOD泛化性能，在GLUE基准上评估自然语言理解任务。

实验结果

研究问题

• RQ1 由对抗训练诱导的输入鲁棒性是否能带来更好的OOD泛化？
• RQ2 𝒪̃(1/√n + 1/T)的理论过量风险边界是否能在OOD数据上得到实证验证？
• RQ3 对抗预训练是否能改善微调范式中下游OOD泛化的初始化？
• RQ4 对抗训练中的扰动大小如何影响OOD泛化性能？
• RQ5 标准预训练目标（如掩码语言建模）在多大程度上促进输入鲁棒性和OOD泛化？

主要发现

• 在CIFAR10-C和ImageNet-C上，对抗训练显著提升了OOD泛化性能，对多种类型的噪声污染均带来了准确率增益。
• 在图像分类任务中，使用ℓ₂和ℓ∞扰动的对抗训练相比标准训练，始终能更有效地提升OOD准确率。
• 在自然语言处理任务（SST-2、IMDB、MNLI、STS-B）中，经过标准预训练后进行对抗微调，可进一步提升OOD泛化性能。
• 在ImageNet上进行对抗预训练可获得更优的初始化，从而在CIFAR10上微调后实现更好的OOD泛化表现。
• 较小的扰动大小在Fog、Bright和Contrast等污染类型上表现更优，表明性能对扰动尺度敏感。
• 标准预训练（如掩码语言建模）可增强输入鲁棒性，且在更多数据或更多训练步数下预训练的模型展现出更优的OOD泛化能力。