[論文レビュー] Towards Robust Training of Neural Networks by Regularizing Adversarial Gradients

Fuxun Yu, Zirui Xu+3 more|arXiv (Cornell University)|May 23, 2018

Adversarial Robustness in Machine Learning参考文献 14被引用数 7

ひとこと要約

本論文は、勾配損失関数と二重バックプロパゲーションを用いて敵対的勾配を正則化する、新たなロバストトレーニング手法を提案する。この手法は、訓練中に敵対的サンプルを必要とせず、FGSM、C&W、および転送可能な攻撃に対して神経ネットワークのロバスト性を著しく向上させる。最小限のトレーニングオーバーヘッドで最先端の精度向上を達成する。

ABSTRACT

In recent years, neural networks have demonstrated outstanding effectiveness in a large amount of applications.However, recent works have shown that neural networks are susceptible to adversarial examples, indicating possible flaws intrinsic to the network structures. To address this problem and improve the robustness of neural networks, we investigate the fundamental mechanisms behind adversarial examples and propose a novel robust training method via regulating adversarial gradients. The regulation effectively squeezes the adversarial gradients of neural networks and significantly increases the difficulty of adversarial example generation.Without any adversarial example involved, the robust training method could generate naturally robust networks, which are near-immune to various types of adversarial examples. Experiments show the naturally robust networks can achieve optimal accuracy against Fast Gradient Sign Method (FGSM) and C\&W attacks on MNIST, Cifar10, and Google Speech Command dataset. Moreover, our proposed method also provides neural networks with consistent robustness against transferable attacks.

研究の動機と目的

• 敵対的サンプルに対するニューラルネットワークの脆弱性を、小さな摂動を大きく拡大する第一階微分勾配が原因であるという根本的要因に焦点を当て、その解決を図ること。
• 訓練中に敵対的サンプルに依存せずにロバスト性を向上させるトレーニング手法を開発すること。
• 通常の分類性能を維持したまま、敵対的勾配に特化した勾配正則化子を設計すること。
• エンドツーエンドのロバストトレーニングにより、ホワイトボックスおよび転送可能な敵対的攻撃に対する耐性を向上させること。

提案手法

• 敵対的方向に関連する大きな第一階微分勾配をペナルティ化する勾配損失関数を導入する。
• ネットワークのログイットとラベル情報を利用し、敵対的勾配と通常の勾配を区別するログイットベースの勾配正則化子を設計する。
• 勾配損失のための二階微分勾配を計算するために二重バックプロパゲーションを採用し、ネットワーク重みと勾配正則化の両方を同時に最適化可能にする。
• 標準的な交差エントロピー損失と勾配正則化損失を統合したトレーニングプロセスに組み込み、精度を維持しながらロバスト性を向上させる。
• 1ステップあたり1回の追加バックプロパゲーションで済ませるため、計算コストを最小限に抑えた標準トレーニングに適用可能である。
• AlexNet や VGG などの既存ネットワークに対して、数エポックにわたり正則化子を適用することでロバスト性を向上させる微調整を実施する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークにおける第一階微分勾配の大きさを直接正則化することで、敵対的ロバスト性を向上させることができるか？
• RQ2 通常の精度を低下させることなく、敵対的勾配を特定的に抑制する勾配正則化子をどのように設計できるか？
• RQ3 勾配正則化は、ホワイトボックスおよび転送可能な敵対的攻撃の両方に対してロバスト性を向上させるか？
• RQ4 敵対的サンプルを生成せずにロバスト性を達成でき、トレーニングコストを削減できるか？
• RQ5 最小最大敵対トレーニングと比較して、本手法は効率性と有効性の両面で優れているか？

主な発見

• MNIST では FGSM 攻撃に対して 30%–91% の精度を達成し、CIFAR10 では 26%–53%、Google Speech Command データセットでは 16%–55% の精度を示した。
• 強力な C&W 攻撃に対しては、MNIST でほぼゼロの精度から 32%–92%、CIFAR10 で 17%–48%、Google Speech Command で 9%–48% まで回復した。
• 転送可能な攻撃では、MNIST で最大 50%、CIFAR10 で 80%、Google Speech Command で 40% の精度を達成し、標準モデルを著しく上回った。
• CIFAR10 で 10,000 ステップのトレーニングに要する時間は、本手法では 12 分であるのに対し、最小最大トレーニングは 1時間16分以上を要した。
• ネットワーク内の重み分布が分散と平均値が小さくなる方向に圧縮されており、正則化子がより小さい、より安定した重みを促進していることが示された。
• 本手法は、ロバストネスおよびトレーニング効率の両面で、最先端の勾配正則化技術および最小最大トレーニングを上回った。