[論文レビュー] Adversarial Robustness through the Lens of Causality.

Yonggang Zhang, Mingming Gong+6 more|arXiv (Cornell University)|Jun 11, 2021

Adversarial Robustness in Machine Learning参考文献 52被引用数 20

ひとこと要約

本稿では、ラベルとスタイル情報の間の不自然な相関によって引き起こされる分布シフトとしての adversarial examples をモデル化することにより、深層ニューラルネットワークにおける adversarial vulnerability を軽減するための因果枠組みを提案する。自然分布と adversarial 分布を因果的介入によって一致させることで、不自然な特徴への依存を低減し、最先端の性能を示しながら、顕著な耐性向上を達成する。

ABSTRACT

The adversarial vulnerability of deep neural networks has attracted significant attention in machine learning. From a causal viewpoint, adversarial attacks can be considered as a specific type of distribution change on natural data. As causal reasoning has an instinct for modeling distribution change, we propose to incorporate causality into mitigating adversarial vulnerability. However, causal formulations of the intuition of adversarial attack and the development of robust DNNs are still lacking in the literature. To bridge this gap, we construct a causal graph to model the generation process of adversarial examples and define the adversarial distribution to formalize the intuition of adversarial attacks. From a causal perspective, we find that the label is spuriously correlated with the style (content-independent) information when an instance is given. The spurious correlation implies that the adversarial distribution is constructed via making the statistical conditional association between style information and labels drastically different from that in natural distribution. Thus, DNNs that fit the spurious correlation are vulnerable to the adversarial distribution. Inspired by the observation, we propose the adversarial distribution alignment method to eliminate the difference between the natural distribution and the adversarial distribution. Extensive experiments demonstrate the efficacy of the proposed method. Our method can be seen as the first attempt to leverage causality for mitigating adversarial vulnerability.

研究の動機と目的

• adversarial robustness における因果的理解の欠如を解消し、深層ニューラルネットワークがなぜ adversarial examples に対して脆弱であるかを説明すること。
• adversarial attack を、特にラベルとコンテンツに依存しないスタイル特徴の間の不自然な相関を通じて、分布シフトとして形式化すること。
• 因果的原則を用いて自然分布と adversarial 分布を一致させることで、adversarial vulnerability を軽減する手法を開発すること。
• 現在の adversarial training やデータ拡張技術に対する原理的で因果に基づいた代替手法を提供すること。

提案手法

• adversarial examples の生成プロセスをモデル化するための因果的グラフを構築し、コンテンツに依存しない特徴としてのスタイルの役割を明示的に表現する。
• 自然分布とは異なる、スタイル特徴の下でのラベルの条件付き分布のシフトとして adversarial 分布を定義する。
• adversarial 分布下で、モデルがラベルとスタイル情報の間の不自然な相関により脆弱になることを同定する。
• 自然分布と adversarial 条件付き分布の統計的差を最小化する adversarial 分布一致手法を提案する。
• スタイルとラベルの間の不自然な相関を因果的介入によって除去し、モデルがコンテンツに依存する特徴に依存するように促進する。
• スタイルシフトに対して不変性を促進する正則化された目的関数を用いてモデルを訓練し、adversarial パerturbation に対する耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 因果モデリングの文脈において、adversarial attack を分布シフトとして形式的に理解するにはどうすればよいか？
• RQ2 なぜ深層ニューラルネットワークが adversarial 分布下でラベルとスタイル特徴の間の不自然な相関を示すのか？
• RQ3 因果的介入を用いて不自然な相関を排除し、adversarial robustness を向上させることができるか？
• RQ4 自然分布と adversarial 分布を一致させることで、adversarial 攻撃下でのモデルの一般化性能がどのように向上するのか？
• RQ5 現在の adversarial training 法に対する原理的で因果に基づいた代替手法は存在するか？

主な発見

• 提案手法は、CIFAR-10 や CIFAR-100 といった標準ベンチマークにおいて、FGSM や PGD 攻撃下で最先端の robust accuracy を達成した。
• アブレーションスタディにより、不自然なスタイル特徴への依存を低減することで、モデルの耐性が顕著に向上していることが確認された。
• 因果的介入により、adversarial examples が引き起こす分布シフトが効果的に緩和され、より不変な表現が得られた。
• 本手法は、攻撃タイプや摂動の大きさに関わらず良好な一般化性能を示し、強力な耐性を示した。
• 実験的結果から、不自然なスタイル-ラベル相関を排除することで、adversarial 条件下でもより信頼性が高く、耐性のある予測が得られることを確認した。