[论文解读] Excessive Invariance Causes Adversarial Vulnerability

Jörn-Henrik Jacobsen, Jens Behrmann+2 more|arXiv (Cornell University)|Nov 1, 2018

Adversarial Robustness in Machine Learning参考文献 50被引用 59

一句话总结

本文主张深度网络不仅对无关变化太过敏感，而且对任务相关变化过度保持不变性，导致广泛的对抗脆弱性。它引入可逆网络来研究这一点，并提出一个信息理论目标以减少过度不变性。

ABSTRACT

Despite their impressive performance, deep neural networks exhibit striking failures on out-of-distribution inputs. One core idea of adversarial example research is to reveal neural network errors under such distribution shifts. We decompose these errors into two complementary sources: sensitivity and invariance. We show deep networks are not only too sensitive to task-irrelevant changes of their input, as is well-known from epsilon-adversarial examples, but are also too invariant to a wide range of task-relevant changes, thus making vast regions in input space vulnerable to adversarial attacks. We show such excessive invariance occurs across various tasks and architecture types. On MNIST and ImageNet one can manipulate the class-specific content of almost any image without changing the hidden activations. We identify an insufficiency of the standard cross-entropy loss as a reason for these failures. Further, we extend this objective based on an information-theoretic analysis so it encourages the model to consider all task-dependent features in its decision. This provides the first approach tailored explicitly to overcome excessive invariance and resulting vulnerabilities.

研究动机与目标

• 识别过度不变性作为跨任务和架构的对抗脆弱性的核心原因。
• 证明类别特定的内容在不改变激活的情况下也可被改变（基于不变性的对抗样本）。
• 提供一种使用可逆网络访问和操作决策相关因素和干扰因素的方法。
• 将交叉熵的局限性与信息理论属性联系起来并提出解决办法。
• 在基准数据集上使用独立性交叉熵目标展示实际改进。

提出的方法

• 定义前像并将不变性与对抗样本联系起来。
• 使用完全可逆的 RevNets 来访问语义变量（logits）和干扰/杂散变量（隐藏变量）。
• 开发 Metameric 采样来可视化并分析 z_s 与 z_n 之间的依赖关系。
• 通过信息理论分析指出交叉熵的不足。
• 提出独立性交叉熵（iCE）损失，结合干扰分类器以及对干扰因素的可选最大似然项。
• 在 MNIST、ImageNet 和 shiftMNIST 变体上评估 iCE，包括一个对抗球体 toy 问题。

实验结果

研究问题

• RQ1 分类器是否对任务相关变化过度不变，导致对抗脆弱性？
• RQ2 可逆网络是否能揭示并量化标准架构忽略的不变量子空间？
• RQ3 信息理论目标是否能促进学习所有任务相关特征以减少不变性？
• RQ4 独立性交叉熵目标在实践中是否缓解基于不变性的对抗脆弱性？

主要发现

模型	ILSVRC2012 验证 Top1	ILSVRC2012 验证 Top5
fi-RevNet48 (Ours)	29.50	11.30
VGG19	28.70	9.90
ResNet18	30.43	10.80
ResNet50	24.70	7.89
iRevNet300	26.70	-

• 在 MNIST、ImageNet 和合成任务中存在基于不变性的对抗样本，其中类别内容可以在不改变激活的情况下被改变。
• 完全部可逆的 RevNets 表明 logits 可以保持不变，而语义内容却可发生剧烈变化，表明过度不变性。
• Metameric 抽样显示干扰变量在外观上占主导，而保持 logit 激活不变。
• 仅交叉熵可能最大化标签与表示之间的互信息，但在分布变动下这可能降低鲁棒性；iCE 通过最小化关于干扰因素的信息来防止这一点。
• 独立性交叉熵目标减少基于不变性的脆弱性，并在分布变动（如 shiftMNIST）下提高鲁棒性，在某些设置中可达约38个百分点。
• 在 ILSVRC-2012 验证集上，fi-RevNet 变体相对于 VGG19 和 ResNet 取得了有竞争力的 Top1/Top5 错误（例如 fi-RevNet48: Top1 29.50, Top5 11.30）。