[論文レビュー] CausalAdv: Adversarial Robustness through the Lens of Causality

Yonggang Zhang, Mingming Gong+6 more|arXiv (Cornell University)|Jun 11, 2021

Adversarial Robustness in Machine Learning被引用数 14

ひとこと要約

CausalAdvは、画像のスタイルなどの余分な要因とラベルの間の誤った相関関係を特定する因果グラフを用いて、敵対的例をモデル化することで、因果的アプローチに基づいた敵対的ロバストネスの向上を提案する。自然分布と敵対的分布を介入に基づく分布整合化によって一致させることで、誤った相関関係への依存を低減し、PGD や AutoAttack を含む複数の攻撃に対して、CIFAR-10 および CIFAR-100 で最先端のロバスト正解率を達成する。

ABSTRACT

The adversarial vulnerability of deep neural networks has attracted significant attention in machine learning. As causal reasoning has an instinct for modelling distribution change, it is essential to incorporate causality into analyzing this specific type of distribution change induced by adversarial attacks. However, causal formulations of the intuition of adversarial attacks and the development of robust DNNs are still lacking in the literature. To bridge this gap, we construct a causal graph to model the generation process of adversarial examples and define the adversarial distribution to formalize the intuition of adversarial attacks. From the causal perspective, we study the distinction between the natural and adversarial distribution and conclude that the origin of adversarial vulnerability is the focus of models on spurious correlations. Inspired by the causal understanding, we propose the Causal inspired Adversarial distribution alignment method, CausalAdv, to eliminate the difference between natural and adversarial distributions by considering spurious correlations. Extensive experiments demonstrate the efficacy of the proposed method. Our work is the first attempt towards using causality to understand and mitigate the adversarial vulnerability.

研究の動機と目的

• 深層ニューラルネットワークにおける敵対的脆弱性を理解するための因果的定式化の欠如に対処すること。
• 余分な要因への介入によって引き起こされる分布シフトとしての敵対的攻撃の直感を形式化すること。
• ラベルと非因果的画像特徴（例：スタイル）の間の誤った相関関係を排除することで、敵対的脆弱性を軽減する手法を開発すること。
• 敵対的データ生成のための因果グラフを構築することで、因果論と敵対的ロバストネスのギャップを埋めること。
• 標準的な敵対的訓練のヒューリスティクスに依存せずにロバストネスを向上させる分布整合化手法を提案すること。

提案手法

• ラベルがコンテンツ要因によって引き起こされ、余分な要因（例：スタイル）がラベルとは独立しているが、データ上では相関していることをモデル化する因果グラフを構築する。
• 敵対的分布を自然分布に対する介入として定義し、余分な要因を操作することで敵対的例を生成する。
• ラベルと余分な要因の間の誤った相関関係を、敵対的脆弱性の根本的原因と特定する。
• 誤った特徴への依存を明示的にモデル化・低減することで、自然分布と敵対的分布の乖離を最小化する分布整合化手法 CausalAdv を提案する。
• 介入に基づく分布整合化を用いて、モデルがスタイルやテクスチャアーチファクトではなく、因果的でコンテンツベースの特徴に依存するように促進する。
• Madry や TRADES などの既存の敵対的訓練手法と同様のコア原則を共有しているが、因果的推論に基づくことで、より高いロバストネスと過剰適合の低減を実現する。

実験結果

リサーチクエスチョン

• RQ1 因果的アプローチを用いて、敵対的攻撃の背後にあるメカニズムとそれによる分布シフトを形式化することは可能か？
• RQ2 ラベルと余分な要因の間の誤った相関関係は、敵対的脆弱性にどのような役割を果たすか？
• RQ3 敵対的例に対する因果的理解は、よりロバストなディープラーニングモデルの構築に寄与できるか？
• RQ4 因果構造に基づく分布整合化は、標準的な敵対的訓練と比較して、ロバストネスと一般化性能において優れているか？
• RQ5 余分な要因に対する因果的介入は、自然精度を損なうことなくモデルのロバストネスを向上させることができるか？

主な発見

• 敵対的脆弱性の原因は、画像のスタイルなどの余分な要因とラベルの間の深層ニューラルネットワークの誤った相関関係に起因する。
• CIFAR-10 において、CausalAdv は最高で 54.44% のロバスト正解率（最良）を達成し、最終チェックポイントで 50.93% を記録し、Madry と比較して最良値と最終値の差を縮小した。
• CIFAR-100 においても、PGD および AutoAttack の下で、既存手法（TRADES や Madry を含む）を上回る最先端のロバスト正解率を達成した。
• 敵対的訓練で一般的に見られるロバスト過剰適合現象（特定の訓練エポックを過ぎるとロバスト正解率が低下する現象）を軽減した。
• CausalAdv は Madry や TRADES と概念的に類似しているが、誤った相関関係を明示的にモデル化・低減することで、より高いロバストネスを達成した。
• 提案手法は、MNIST、CIFAR-10、CIFAR-100 という複数のデータセットおよび、FGSM、PGD、C&W、AutoAttack といった多様な敵対的攻撃の下で検証され、一貫したロバストネスの向上が示された。