[论文解读] Conditional Generative Models are not Robust

Ethan Fetaya, Jörn-Henrik Jacobsen+1 more|arXiv (Cornell University)|Jun 4, 2019

Adversarial Robustness in Machine Learning参考文献 20被引用 13

一句话总结

本文表明，基于似然的类条件生成模型在近似最优的情况下，仍固有地无法保证对抗样本的可检测性。尽管训练技术有所改进，这些模型在CIFAR10等复杂数据集上仍表现出较差的鲁棒性，这是由于最大似然训练的局限性未能惩罚不良模型行为，表明似然优化与复杂任务上的鲁棒分类之间存在根本性不相容性。

ABSTRACT

Class-conditional generative models are an increasingly popular approach to achieve robust classification. They are a natural choice to solve discriminative tasks in a robust manner as they jointly optimize for predictive performance and accurate modeling of the input distribution. In this work, we investigate robust classification with likelihood-based conditional generative models from a theoretical and practical perspective. Our theoretical result reveals that it is impossible to guarantee detectability of adversarial examples even for near-optimal generative classifiers. Experimentally, we show that naively trained conditional generative models have poor discriminative performance, making them unsuitable for classification. This is related to overlooked issues with training conditional generative models and we show methods to improve performance. Finally, we analyze the robustness of our proposed conditional generative models on MNIST and CIFAR10. While we are able to train robust models for MNIST, robustness completely breaks down on CIFAR10. This lack of robustness is related to various undesirable model properties maximum likelihood fails to penalize. Our results indicate that likelihood may fundamentally be at odds with robust classification on challenging problems.

研究动机与目标

• 研究类条件生成模型在对抗设置下的理论与实际鲁棒性。
• 识别为何朴素训练的条件生成模型尽管联合优化了预测与数据分布建模，但在分类任务中表现不佳。
• 分析改进的训练方法在MNIST和CIFAR10等标准基准上是否能恢复生成分类器的鲁棒性。
• 确定最大似然训练是否在复杂数据集上与鲁棒分类存在根本性冲突。

提出的方法

• 通过理论分析，研究在理想条件下基于似然的条件生成分类器对对抗样本可检测性的表现。
• 在MNIST和CIFAR10上进行实证评估，采用标准的基于似然的条件生成模型，并优化训练流程以提升性能。
• 通过不同扰动设置下的对抗攻击成功率和检测能力，评估模型的鲁棒性。
• 将标准训练与改进的训练策略进行比较，以隔离影响判别性能与鲁棒性的因素。
• 重点分析最大似然目标为何未能惩罚会损害鲁棒性的模型行为，例如在高维空间中的泛化能力差。

实验结果

研究问题

• RQ1 在近似最优训练下，基于似然的条件生成模型能否保证对抗样本的可检测性？
• RQ2 为何朴素训练的条件生成模型尽管联合优化了预测与数据建模，却表现出较差的判别性能？
• RQ3 改进的训练流程在多大程度上能恢复MNIST和CIFAR10上生成分类器的鲁棒性？
• RQ4 最大似然训练中被惩罚或忽略的哪些模型特性会损害复杂数据集上的鲁棒性？

主要发现

• 理论分析表明，即使在近似最优情况下，基于似然的生成分类器也无法保证对抗样本的可检测性。
• 朴素训练的条件生成模型表现出较差的判别性能，表明其优化过程中存在根本性问题。
• 改进的训练技术虽提升了性能，但在CIFAR10上仍无法恢复鲁棒性，尽管在MNIST上取得了成功。
• CIFAR10上的鲁棒性因最大似然训练未能惩罚的不良模型行为而崩溃。
• 结果表明，似然最大化与复杂高维数据集上的鲁棒分类之间存在根本性不相容性。