[论文解读] Adversarial Meta-Learning

Chengxiang Yin, Jian Tang+2 more|arXiv (Cornell University)|Jun 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 27被引用 30

一句话总结

本文提出 ADML，一种新颖的对抗性元学习框架，通过对抗性训练机制联合优化干净样本与对抗样本的模型初始化。ADML 在少样本学习任务中实现了更优的鲁棒性与准确性，即使在显著的对抗性扰动下，其性能仍优于 MAML 及其他元学习器，同时在干净数据上也保持了强劲的表现。

ABSTRACT

Meta-learning enables a model to learn from very limited data to undertake a new task. In this paper, we study the general meta-learning with adversarial samples. We present a meta-learning algorithm, ADML (ADversarial Meta-Learner), which leverages clean and adversarial samples to optimize the initialization of a learning model in an adversarial manner. ADML leads to the following desirable properties: 1) it turns out to be very effective even in the cases with only clean samples; 2) it is robust to adversarial samples, i.e., unlike other meta-learning algorithms, it only leads to a minor performance degradation when there are adversarial samples; 3) it sheds light on tackling the cases with limited and even contaminated samples. It has been shown by extensive experimental results that ADML consistently outperforms three representative meta-learning algorithms in the cases involving adversarial samples, on two widely-used image datasets, MiniImageNet and CIFAR100, in terms of both accuracy and robustness.

研究动机与目标

• 解决现有元学习算法在少样本学习中对对抗样本的脆弱性问题。
• 开发一种元学习器，使其在干净数据与对抗性数据条件下均能保持高性能。
• 探索在元训练过程中使用对抗样本作为正则化信号以提升鲁棒性的可行性。
• 为现实世界中数据有限或受污染的少样本学习场景提供解决方案。

提出的方法

• ADML 采用双优化过程，其中内层梯度更新与元更新通过对抗性‘角力’来精炼模型初始化。
• 在元训练过程中同时利用干净样本与对抗样本，以学习到鲁棒的初始参数分布。
• 该方法与模型无关，兼容任何通过梯度下降训练的可微分模型。
• ADML 使用最小-最大公式化方法优化初始参数，使模型即使在面对对抗输入时，也能快速且可靠地适应新任务。
• 训练目标结合了标准元学习损失与对抗扰动约束，以增强模型鲁棒性。
• 该框架在 MiniImageNet 与 CIFAR100 等标准少样本基准上，于不同水平的对抗噪声下进行了评估。

实验结果

研究问题

• RQ1 能否在不牺牲干净数据性能的前提下，使元学习模型对对抗样本具备鲁棒性？
• RQ2 对干净样本与对抗样本的联合优化如何提升元学习器的泛化能力？
• RQ3 在元学习过程中进行对抗性训练是否能带来比标准元学习或对抗性微调更优的初始化？
• RQ4 当训练数据被对抗样本污染时，ADML 的性能能维持到何种程度？

主要发现

• 在 MiniImageNet 与 CIFAR100 的所有测试设置中，ADML 在准确率与鲁棒性方面均持续优于 MAML、Matching Networks 与 Relation Networks。
• 当对抗扰动从 ε=0.2 增加到 ε=2 时，MAML 的性能最高下降 13.50%，而 ADML 仅出现微小降幅。
• 在 ε=2 的 5 类 1 样本学习设置下，ADML 在 MiniImageNet 上实现了 59.38% 的 top-1 准确率，相较于 1 样本学习提升了 17.96%。
• ADML 的损失在数次梯度更新内迅速下降并稳定在低于 MAML 与 MAML-AD 的值，表明其具备更快且更稳定的适应能力。
• 即使训练数据中包含对抗样本，该方法仍能保持高性能，展现出对数据污染的强大抗性。
• ADML 在干净数据上表现出极小的性能下降，证明其在无对抗样本场景下同样有效。