[論文レビュー] Excessive Invariance Causes Adversarial Vulnerability

Jörn-Henrik Jacobsen, Jens Behrmann+2 more|arXiv (Cornell University)|Nov 1, 2018

Adversarial Robustness in Machine Learning参考文献 50被引用数 59

ひとこと要約

この論文は、深層ネットワークが無関係な変化に過度に敏感であるだけでなく、タスク関連の変化にも過度に不変であるため、広範な敵対的脆弱性を引き起こすと主張します。これを研究するために可逆的ネットワークを導入し、過度な不変性を低減する情報理論的目的を提案します。

ABSTRACT

Despite their impressive performance, deep neural networks exhibit striking failures on out-of-distribution inputs. One core idea of adversarial example research is to reveal neural network errors under such distribution shifts. We decompose these errors into two complementary sources: sensitivity and invariance. We show deep networks are not only too sensitive to task-irrelevant changes of their input, as is well-known from epsilon-adversarial examples, but are also too invariant to a wide range of task-relevant changes, thus making vast regions in input space vulnerable to adversarial attacks. We show such excessive invariance occurs across various tasks and architecture types. On MNIST and ImageNet one can manipulate the class-specific content of almost any image without changing the hidden activations. We identify an insufficiency of the standard cross-entropy loss as a reason for these failures. Further, we extend this objective based on an information-theoretic analysis so it encourages the model to consider all task-dependent features in its decision. This provides the first approach tailored explicitly to overcome excessive invariance and resulting vulnerabilities.

研究の動機と目的

• タスクやアーキテクチャを超えて過度な不変性を敵対的脆弱性の核心的原因として特定する。
• 活性化を変えずにクラス固有の内容を変更できることを示す（不変性ベースの敵対的例）。
• 可逆ネットワークを用いて決定に関連する要因とノイズ要因をアクセスし操作する方法を提供する。
• クロスエントロピーの限界を情報理論的特性と結びつけ、対処法を提案する。
• ベンチマークデータセットにおいて独立性クロスエントロピー目的関数を用いた実用的改善を示す。

提案手法

• 事前像を定義し、不変性と敵対的な例を結びつける。
• 完全可逆の RevNets を用いて意味論的な変数（logits）とノイズ的要因（hidden）をアクセスする。
• z_s と z_n の依存性を可視化・分析するためのメタメトリックサンプリングを開発する。
• 情報理論的分析を通じてクロスエントロピーの不十分さを特定する。
• ノイズ因子用の尤度最大項を任意に含むノイズ分類器付き独立性クロスエントロピー（iCE）損失を提案する。
• MNIST、ImageNet、shiftMNIST 変種、および adversarial-spheres の toy 問題を含む iCE の評価。

実験結果

リサーチクエスチョン

• RQ1 タスクやアーキテクチャを超えて過度な不変性を敵対的脆弱性の核心的原因として特定できるか？
• RQ2 可逆ネットワークは標準アーキテクチャが見逃す不変な部分空間を明らかにし、定量化できるか？
• RQ3 情報理論的目的がすべてのタスク依存の特徴の学習を促進し、不変性を減らすことができるか？
• RQ4 独立性クロスエントロピー目的が実際に不変性ベースの敵対的脆弱性を緩和するか？

主な発見

Model	ILSVRC2012 Val Top1	ILSVRC2012 Val Top5
fi-RevNet48 (Ours)	29.50	11.30
VGG19	28.70	9.90
ResNet18	30.43	10.80
ResNet50	24.70	7.89
iRevNet300	26.70	-

• 不変性ベースの敵対的な例は MNIST、ImageNet、および合成タスク全体に存在し、活性化を変えずにクラス内容を変更できる。
• 完全可逆の RevNets は logits を一定に保ちながら意味内容が劇的に変化し得ることを示し、過度な不変性を示唆する。
• メタマásiサンプリングはノイズ変数が外観を支配できる一方で logit 活性を変えないことを示す。
• クロスエントロピーだけはラベルと表現の間の相互情報を最大化する可能性があるが、分布シフト下で頑健性を低下させる場合がある； iCE はノイズに関する情報を最小化することでこれを防ぐ。
• 独立性クロスエントロピー目的は不変性ベースの脆弱性を低減し、分布シフト（例：shiftMNIST）下での頑健性を最大で約38ポイント程度改善する。
• ILSVRC-2012 バリデーションでの fi-RevNet 系は VGG19 や ResNet と比較して Top1/Top5 のエラーにおいて競争力を持つ（例: fi-RevNet48: Top1 29.50, Top5 11.30）。