[論文レビュー] Stochastic Activation Pruning for Robust Adversarial Defense

Guneet S. Dhillon, Kamyar Azizzadenesheli+5 more|arXiv (Cornell University)|Mar 5, 2018

Adversarial Robustness in Machine Learning参考文献 20被引用数 206

ひとこと要約

SAPは事前学習済みネットワークに対する敵対的な例へのポストホック防御として確率的活性化 pruningを適用し、微調整なしで堅牢性とキャリブレーションを改善し、敵対的訓練と組み合わせると追加の利益を生みます。

ABSTRACT

Neural networks are known to be vulnerable to adversarial examples. Carefully chosen perturbations to real images, while imperceptible to humans, induce misclassification and threaten the reliability of deep learning systems in the wild. To guard against adversarial examples, we take inspiration from game theory and cast the problem as a minimax zero-sum game between the adversary and the model. In general, for such games, the optimal strategy for both players requires a stochastic policy, also known as a mixed strategy. In this light, we propose Stochastic Activation Pruning (SAP), a mixed strategy for adversarial defense. SAP prunes a random subset of activations (preferentially pruning those with smaller magnitude) and scales up the survivors to compensate. We can apply SAP to pretrained networks, including adversarially trained models, without fine-tuning, providing robustness against adversarial examples. Experiments demonstrate that SAP confers robustness against attacks, increasing accuracy and preserving calibration.

研究の動機と目的

• ゲーム理論的な観点からニューラルネットワークの敵対的な例に対するロバスト性を動機づける。
• ポストホックに前提モデルを防御するための確率的混合戦略として SAP を導入する。
• SAP が敵対的摂動に対して有効であることを示し、キャリブレーションを評価する。
• SAP をドロップアウトおよび敵対的訓練と比較し、強化学習への適用可能性を探る。

提案手法

• SAPを敵対者と防御者のミニマックスゲームにおける混合戦略として定義する。
• 各層で活性化の総量に比例する多項分布からサンプリングして、ランダムなサブセットの活性化を剪定する。
• 生存活性化を逆ベースのサンプリング確率でスケールし、期待される活性化を保持するためにダイナミックレンジを維持する。
• 微調整なしで前処理済みネットワークに対して SAP をポストホックで適用する。
• CIFAR-10/ResNet-20 での画像分類と Atari での DDQN による深層強化学習で SAP を評価する。
• MC サンプリングを用いて確率的モデルの勾配を推定し、SAP をドロップアウト、ガウシアン/ノイズのベースライン、敵対的訓練と比較する。

実験結果

リサーチクエスチョン

• RQ1 SAP は微調整なしで前処理済みネットワークの敵対的摂動に対するロバスト性を改善できるか？
• RQ2 SAP はビジョンと強化学習タスクにおける FGSM および反復攻撃の下で精度、キャリブレーション、ロバスト性にどのような影響を与えるか？
• RQ3 SAP は敵対的訓練や他の確率的防御とどのように相互作用するか？

主な発見

• SAP を裏付けるモデルは、 CIFAR-10 実験における λ 値 1、2、4 のような場合で SAP-100 が絶対的なゲインを示すなど、特定の摂動レベルで敵対的な摂動に対する精度を改善する。
• SAP は中程度の摂動に対して精度を保持し、密なモデルと比較してキャリブレーションを改善する。
• 敵対的訓練と SAP の組み合わせ（ADV + SAP-100）は、より大きな摂動の大きさで敵対的訓練のみより高い精度を達成する。
• 強化学習では、SAP-100 は非ゼロ摂動に対して複数の Atari ゲームで相対的な報酬改善を大きく生み、いくつかのケースで非常に大きな利益を示す。
• SAP はドロップアウトを確率的防御として上回る傾向があり、再訓練なしのポストホック修正としても効果的である。