[论文解读] Model-Based Robust Deep Learning: Generalizing to Natural, Out-of-Distribution Data

Alexander Robey, Hamed Hassani+1 more|arXiv (Cornell University)|May 20, 2020

Adversarial Robustness in Machine Learning被引用 10

一句话总结

本文提出基于模型的鲁棒深度学习，一种通过利用自然变化的已学习或已知模型来增强神经网络对自然分布外数据变化（如光照和天气变化）鲁棒性的范式。该方法显著提升了泛化能力，在 ImageNet-c 上相比最先进方法准确率最高提升 30 个百分点。

ABSTRACT

While deep learning has resulted in major breakthroughs in many application domains, the frameworks commonly used in deep learning remain fragile to artificially-crafted and imperceptible changes in the data. In response to this fragility, adversarial training has emerged as a principled approach for enhancing the robustness of deep learning with respect to norm-bounded perturbations. However, there are other sources of fragility for deep learning that are arguably more common and less thoroughly studied. Indeed, natural variation such as lighting or weather conditions can significantly degrade the accuracy of trained neural networks, proving that such natural variation presents a significant challenge for deep learning. In this paper, we propose a paradigm shift from perturbation-based adversarial robustness toward model-based robust deep learning. Our objective is to provide general training algorithms that can be used to train deep neural networks to be robust against natural variation in data. Critical to our paradigm is first obtaining a model of natural variation which can be used to vary data over a range of natural conditions. Such models may be either known a priori or else learned from data. In the latter case, we show that deep generative models can be used to learn models of natural variation that are consistent with realistic conditions. We then exploit such models in three novel model-based robust training algorithms in order to enhance the robustness of deep learning with respect to the given model. Our extensive experiments show that across a variety of naturally-occurring conditions and across various datasets, deep neural networks trained with our model-based algorithms significantly outperform both standard deep learning algorithms as well as norm-bounded robust deep learning algorithms.

研究动机与目标

• 解决深度学习模型对自然世界中数据变化（如光照、天气和传感器条件变化）的脆弱性。
• 将关注点从基于扰动的对抗鲁棒性，转向对自然发生、可感知的分布偏移的鲁棒性。
• 开发一种通用的训练框架，利用自然变化模型来提升泛化能力和分布外鲁棒性。
• 在多种数据集和任务中展示广泛适用性，包括可迁移性和多分布偏移鲁棒性。
• 在自然分布偏移的鲁棒性方面超越现有方法，如对抗训练、数据增强和领域自适应。

提出的方法

• 将基于模型的鲁棒优化问题公式化，旨在寻找自然变化流形内的最坏情况输入，参数化为 $ x' \in B(x) = \{ G(x, \delta) \mid \delta \in \Delta \} $，其中 $ G $ 对建模自然变换。
• 使用深度生成模型（如 MUNIT）从数据中学习未知的自然变化模型，实现对真实分布偏移的数据驱动建模。
• 提出三种新型训练算法：基于模型的鲁棒训练（MRT）、基于模型的对抗训练（MAT）和基于模型的数据增强（MDA），均旨在通过学习到的变化模型优化鲁棒性。
• 将学习到的自然变化模型整合到训练过程中，以生成多样化且逼真的扰动，模拟真实世界的分布偏移。
• 将变化模型的学习与分类器训练解耦，实现模块化且可迁移的鲁棒性训练。
• 通过使用变化模型对齐源域和目标域，将该框架应用于无监督领域自适应，实现在无目标标签数据情况下的泛化能力提升。

实验结果

研究问题

• RQ1 能否从数据中有效学习自然变化模型，以在超越范数有界扰动的范围内提升深度学习的鲁棒性？
• RQ2 基于模型的鲁棒训练与对抗训练和数据增强相比，在处理自然分布外偏移时表现如何？
• RQ3 能否通过组合自然变化模型，实现对多个同时发生的分布偏移的鲁棒性？
• RQ4 在某一数据集上训练的模型能否迁移到新的、未见过的数据集，以提供对先前未见分布偏移的鲁棒性？
• RQ5 在无监督领域自适应设置中，基于模型的鲁棒训练是否优于传统领域自适应技术？

主要发现

• 在从 ImageNet 到 ImageNet-c 的分布偏移中，所提出的基于模型的算法相比基线方法，top-1 准确率最高提升 30 个百分点。
• 与最先进分类器相比，基于模型的方法在自然分布外数据上实现了最高 20–30 个百分点的准确率增益。
• 通过组合学习到的自然变化模型，该框架在多个同时分布偏移上表现出鲁棒性，该结论在新整理的包含多种变化源的数据集上得到验证。
• 在某一数据集上训练的自然变化模型成功迁移到新数据集，显著提升了对未见分布偏移的鲁棒性。
• 在无监督领域自适应中，基于模型的算法优于传统领域自适应技术，展示了在无目标标签数据情况下的改进泛化能力。
• 该方法在 12 个多样化数据集（包括 MNIST、SVHN、GTSRB、CURE-TSR 和 ImageNet）上均表现良好，证明了其广泛适用性和一致的性能提升。