[論文レビュー] A Direct Approach to Robust Deep Learning Using Adversarial Networks

Huaxia Wang, Chun-Nam Yu|arXiv (Cornell University)|May 23, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用数 48

ひとこと要約

本稿では、生成対抗的ネットワーク（GAN）フレームワークを用いた、新たなロバストなディープラーニング防御手法を提案する。生成ネットワークが対抗的ノイズをモデル化する一方で、識別ネットワークはミニマックスゲームにおいて訓練される。この手法はブラックボックス攻撃に対して最先端の性能を達成し、アンサンブル対抗的訓練や投影勾配降下法（PGD）手法と同等またはそれを上回る。

ABSTRACT

Deep neural networks have been shown to perform well in many classical machine learning problems, especially in image classification tasks. However, researchers have found that neural networks can be easily fooled, and they are surprisingly sensitive to small perturbations imperceptible to humans. Carefully crafted input images (adversarial examples) can force a well-trained neural network to provide arbitrary outputs. Including adversarial examples during training is a popular defense mechanism against adversarial attacks. In this paper we propose a new defensive mechanism under the generative adversarial network (GAN) framework. We model the adversarial noise using a generative network, trained jointly with a classification discriminative network as a minimax game. We show empirically that our adversarial network approach works well against black box attacks, with performance on par with state-of-art methods such as ensemble adversarial training and adversarial training with projected gradient descent.

研究の動機と目的

• ディープニューラルネットワークが微小で目立たない対抗的摂動に対して脆弱であるという問題に取り組む。
• 攻撃者がモデルのアーキテクチャや勾配にアクセスできないブラックボックス攻撃に対して、一般化性の高い防御機構を開発する。
• 事前に定義された摂動に基づく対抗的再訓練に依存せずに、ロバスト性を向上させる。
• トレーニング中に生成モデルを用いて対抗的ノイズを合成することで、ロバスト性の向上を図る。
• アンサンブル対抗的訓練やPGDベースの訓練といった最先端の防御と同等の性能を達成する。

提案手法

• 生成ネットワークを訓練し、対抗的ノイズのパターンをモデル化する。
• 分類ネットワークは識別器として機能し、対抗的ノイズが存在する入力に対しても正しく分類する能力を学習する。
• 2つのネットワークは、標準GANと同様のミニマックスゲームにおいて共同で訓練されるが、ロバストな分類に焦点を当てる。
• 生成ネットワークは分類器をだますような摂動を学習し、分類器はそれらに耐性を持つように学習する。
• 最適化中に生成器がリアルタイムで対抗的例を合成することで、エンドツーエンドの訓練が行われる。
• 動的に生成された対抗的例を用いたデータ拡張が可能となり、未観測の攻撃に対して一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 生成対抗的フレームワークは、ディープニューラルネットワークにおける対抗的摂動を効果的にモデル化し、防御できるか？
• RQ2 提案されたGANベースの防御は、アンサンブル対抗的訓練やPGDベースの訓練といった既存手法と比較して、どのように性能を発揮するか？
• RQ3 攻撃者がモデルにアクセスできないブラックボックス攻撃シナリオにおいて、この手法は一般化性を十分に発揮するか？
• RQ4 生成ネットワークは、分類器を効果的に挑戦する現実的な対抗的ノイズを学習できるか？
• RQ5 提案された防御機構におけるロバスト性と通常の精度のトレードオフはいかなるものか？

主な発見

• 提案されたGANベースの防御は、アンサンブル対抗的訓練や投影勾配降下法（PGD）ベースの訓練といった最先端の手法と同等の性能を達成する。
• ブラックボックス攻撃に対して強いロバスト性を示し、未観測の攻撃戦略に対しても効果的な一般化が可能であることが示された。
• ミニマックスフレームワークにおける生成器と識別器の共同訓練により、トレーニング中に明示的な対抗的例を必要とせずにモデルのロバスト性が向上した。
• アプローチは対抗的ノイズのパターンを効果的に学習できており、多様な摂動タイプに対応する分類器の一般化を可能にした。
• ロバスト性が著しく向上する一方で、標準的な精度も競争力のある水準を維持しており、ロバスト性と精度の間の好ましいトレードオフが実現された。
• 実験的結果から、通常のモデルが容易にだまされる微小で目立たない摂動に対しても、モデルが耐性を持つことが確認された。