[论文解读] Guarding Against Adversarial Domain Shifts with Counterfactual Regularization.

Christina Heinze‐Deml, Nicolai Meinshausen|arXiv (Cornell University)|Oct 31, 2017

Adversarial Robustness in Machine Learning参考文献 57被引用 32

一句话总结

本文提出反事实正则化方法，以抵御由可变风格特征（如旋转、姿势、图像质量）引起的对抗性域偏移。通过将同一基础物体的图像组建模为在风格特征干预下的反事实实例，该方法通过感知分组的正则化强制实现不变性，从而在不依赖可变特征的情况下提升鲁棒性。

ABSTRACT

When training a deep network for image classification, one can broadly distinguish between two types of latent features of images that will drive the classification: (i) immutable or core features that are inherent to the object in question and do not change substantially from one instance of the object to another and (ii) or features such as position, rotation or image quality but also more complex ones like hair color or posture for images of persons. The distribution of the style features can change in the future. While transfer learning would try to adapt to a shift in the distribution(s), we here want to protect against future adversarial domain shifts, arising through changing style features, by ideally not using the mutable style features altogether. There are two broad scenarios and we show how exploiting grouping information in the data helps in both. (a) If the style features are known explicitly (e.g. rotation) one usually proceeds by using data augmentation. By exploiting the grouping information about which original image an augmented sample belongs to, we can reduce the sample size required to achieve invariance to the style feature in question. (b) Sometimes the style features are not known explicitly but we still have information about samples that belong to the same underlying object (such as different pictures of the same person). By constraining the classification to give the same forecast for all instances that belong to the same object, we show how using this grouping information leads to invariance to such implicit style features and helps to protect against adversarial domain shifts. We provide a causal framework for the problem and treat groups of instances of the same object as counterfactuals under different interventions on the mutable style features. We show links to questions of fairness, transfer learning and adversarial examples.

研究动机与目标

• 解决由于图像分类中旋转、光照或姿势等可变风格特征变化引起的对抗性域偏移挑战。
• 开发一种通过在相同基础物体的不同变化中强制不变性来减少对风格特征依赖的方法。
• 为将风格变化建模为同一物体的反事实实例干预提供因果框架。
• 通过最小化对非核心、可变图像特征的敏感性，提升迁移学习和公平性中的鲁棒性。
• 将公平性、对抗性鲁棒性和域偏移统一在反事实正则化方法之下。

提出的方法

• 将属于同一物体的图像组视为在不同风格特征干预（如旋转、光照）下的反事实实例。
• 利用分组信息——将增强或变体图像与原始来源关联起来——以确保同一物体所有变体的预测一致。
• 应用正则化损失，惩罚同一组内实例之间的预测方差，从而促进对可变风格特征的不变性。
• 在结构因果模型中构建问题，其中风格特征是同一基础物体的干预。
• 利用数据增强和隐式分组（如同一人的多张图像）来识别反事实样本，而无需显式风格标签。
• 将反事实正则化集成到标准深度学习训练中，以联合优化准确率和不变性。

实验结果

研究问题

• RQ1 如何保护深度神经网络免受由旋转或图像质量等可变风格特征变化引起的对抗性域偏移？
• RQ2 在缺乏显式风格标注的情况下，如何利用同一物体图像的分组信息来强制实现不变性？
• RQ3 反事实推理在建模由风格变化引起的域偏移中扮演什么角色？
• RQ4 反事实正则化如何提升迁移学习和公平性设置中的鲁棒性？
• RQ5 是否可以在不依赖显式数据增强或风格解耦的情况下实现对风格特征的不变性？

主要发现

• 反事实正则化通过在组内成员间强制一致预测，显著降低了模型对可变风格特征的依赖。
• 即使风格特征未被明确知晓，该方法也能仅通过分组信息实现对风格偏移的不变性。
• 通过将物体组建模为反事实实例，该方法提供了一个因果框架，将域偏移鲁棒性与公平性和对抗性鲁棒性联系起来。
• 利用分组信息可减少在数据增强下实现不变性所需的样本量。
• 该方法具有良好的泛化能力：无论风格特征是已知的（通过增强）还是未知的（通过隐式分组），均能从相同的正则化机制中受益。
• 实证结果表明，该方法在不损害原始分布上准确率的前提下，显著提升了对分布偏移的鲁棒性。