[論文レビュー] Enhancing the Robustness of Deep Neural Networks by Boundary Conditional GAN

Ke Sun, Zhanxing Zhu+1 more|arXiv (Cornell University)|Feb 28, 2019

Adversarial Robustness in Machine Learning参考文献 23被引用数 17

ひとこと要約

本稿では、事前学習済み分類器の意思決定境界付近に、変更を加えた条件付きGANを用いて合成された境界サンプルを生成することで、深層ニューラルネットワークの耐性を向上させる、新しい防御機構であるBoundary Conditional GANを提案する。予測分布と一様分布の間のKLダイバージェンスを最小化することで、多様で高品質な境界サンプルを生成し、データ拡張に用いる。これにより、MNIST、Fashion-MNIST、CIFAR10において、特定の攻撃タイプに依存せずに、多様な敵対的攻撃に対して顕著な耐性向上が達成される。

ABSTRACT

Deep neural networks have been widely deployed in various machine learning tasks. However, recent works have demonstrated that they are vulnerable to adversarial examples: carefully crafted small perturbations to cause misclassification by the network. In this work, we propose a novel defense mechanism called Boundary Conditional GAN to enhance the robustness of deep neural networks against adversarial examples. Boundary Conditional GAN, a modified version of Conditional GAN, can generate boundary samples with true labels near the decision boundary of a pre-trained classifier. These boundary samples are fed to the pre-trained classifier as data augmentation to make the decision boundary more robust. We empirically show that the model improved by our approach consistently defenses against various types of adversarial attacks successfully. Further quantitative investigations about the improvement of robustness and visualization of decision boundaries are also provided to justify the effectiveness of our strategy. This new defense mechanism that uses boundary samples to enhance the robustness of networks opens up a new way to defense adversarial attacks consistently.

研究の動機と目的

• 安全性が重要な応用分野において深刻な脅威をもたらす、深層ニューラルネットワークの敵対的例に対する脆弱性を是正すること。
• 白ボックス攻撃およびブラックボックス攻撃を含む、広範な敵対的攻撃に対して耐性を持つ防御機構を開発すること。
• 特定の攻撃タイプや勾配の遮断技術に依存せずに、意思決定境界の耐性を向上させること。
• 条件付きGANを用いて、潜在的な敵対的方向を表現する高品質で多様な境界サンプルを生成することの可能性を調査すること。
• 境界サンプルを用いたデータ拡張によって、一貫性があり一般化可能な防御戦略を提供すること。

提案手法

• 予測分布と一様分布の間のKullback-Leibler（KL）ダイバージェンスを最小化するための損失項を追加することで、条件付きGANを変更し、新たな手法を提案する。
• KLダイバージェンス正則化により、生成器が事前学習済み分類器の意思決定境界付近に、誤分類が最も起こりやすい領域でサンプルを生成するよう促される。
• クラスラベルを条件として与えることで、クラス固有の境界サンプルを生成し、多様性とラベルの整合性を確保する。
• 生成された境界サンプルをデータ拡張に用い、事前学習済み分類器のファインチューニングにより、意思決定境界を洗練および平滑化する。
• 生成サンプルの品質とモードカバレッジを向上させるために、補助分類器GAN（AC-GAN）アーキテクチャを活用し、モード崩壊のリスクを低減する。
• 最終モデルの耐性は、FGSM、PGD、ブラックボックス攻撃を含む複数の敵対的攻撃タイプを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み分類器の意思決定境界付近に高品質な境界サンプルを生成できるように、条件付きGANを効果的に変更できるか？
• RQ2 これらの境界サンプルを用いたデータ拡張が、多様な敵対的攻撃に対して深層ニューラルネットワークの耐性を顕著に向上させられるか？
• RQ3 提案手法であるBoundary Conditional GANは、敵対的訓練、防御蒸留、Defense-GANといった既存の防御手法と比較して、どの程度耐性に優れているか？
• RQ4 生成されたサンプルの多様性と正確さが、最終的な分類器の耐性にどの程度影響を及えるか？
• RQ5 ブラックボックス攻撃や転送攻撃を含む、未観測の攻撃タイプに対しても、防御機構が一般化可能か？

主な発見

• Boundary Conditional GANは、MNIST、Fashion-MNIST、CIFAR10において、FGSMおよびPGDによる敵対的訓練、防御蒸留、Defense-GANを上回る耐性を実現した。
• 本手法は、すべてのデータセットで最先端の耐性を達成し、多様な攻撃タイプ下でもクリーン精度の保持と敵対的精度の向上が顕著に見られた。
• 意思決定境界の可視化により、耐性のあるモデルがクリーンサンプルの周囲に安全領域を拡大していることが示され、より安定的かつ一般化可能な意思決定境界であることが示された。
• その向上は、複数の敵対的方向を捉えた多様で高品質な境界サンプルの生成に起因すると考えられる。
• モード崩壊や勾配の遮断問題を回避しており、強力な攻撃下でも一貫した性能を示していることが実証された。
• 定量的評価により、KLダイバージェンス正則化が生成器を意思決定境界に効果的に誘導し、効果的なデータ拡張を可能にしていることが確認された。