[論文レビュー] A3T: Adversarially Augmented Adversarial Training

Akram Erraqabi, Aristide Baratin+2 more|arXiv (Cornell University)|Jan 12, 2018

Adversarial Robustness in Machine Learning参考文献 15被引用数 7

ひとこと要約

この論文は、実際の特徴表現と敵対的特徴表現を区別するように訓練された識別器を用いて、隠れ層における不変性を強制することで、深層ニューラルネットワークのロバスト性を向上させる、A3Tと呼ばれる新しい敵対的訓練手法を提案する。この手法は、敵対的MNISTサンプルにおいて96.10%の正確度を達成し、標準的な敵対的訓練を上回り、分類器と識別器の共同最適化によって一般化性能が向上している。

ABSTRACT

Recent research showed that deep neural networks are highly sensitive to so-called adversarial perturbations, which are tiny perturbations of the input data purposely designed to fool a machine learning classifier. Most classification models, including deep learning models, are highly vulnerable to adversarial attacks. In this work, we investigate a procedure to improve adversarial robustness of deep neural networks through enforcing representation invariance. The idea is to train the classifier jointly with a discriminator attached to one of its hidden layer and trained to filter the adversarial noise. We perform preliminary experiments to test the viability of the approach and to compare it to other standard adversarial training methods.

研究の動機と目的

• 人間が認識できないが誤分類を引き起こす敵対的摂動に対する深層ニューラルネットワークの脆弱性を解消すること。
• 敵対的ノイズ下でのネットワークの隠れ表現における不変性を強制することでロバスト性を向上させること。
• 識別器が敵対的特徴を検出するのを学習する二重訓練メカニズムを導入し、分類器が敵対的入力に対しても本物に似た表現を生成するように学習すること。
• 敵対的訓練と識別器による表現不変性の組み合わせが、標準ベンチマークでより優れたロバスト性をもたらすことを示すこと。

提案手法

• 隠れ層ℓに識別器ブランチを接続した分類器を訓練し、特徴を本物（t=1）または敵対的（t=0）として分類する。
• 識別器を用いて、本物と敵対的入力の両方において不変な表現が生成されるように、エンコーダを促進する損失信号を提供する。
• 分類器を、本物データ分類のための交差エントロピーと、敵対的サンプルに対して識別器をだませるための敵対的損失の混合損失で最適化する。
• 識別器を、二値交差エントロピーを用いて、本物の特徴（z = E(x)）と敵対的特徴（z = E(x^adv)）を区別するように訓練する。
• 分類損失において本物と敵対的データの凸結合（α = 0.5）を用いることで、標準的な敵対的訓練とこの手法を組み合わせる。
• エンコーダのための別個の損失項を用いる：−β log D(E(x^adv)) ここでβは不変性強化の強度を制御する。

実験結果

リサーチクエスチョン

• RQ1 識別器を用いて隠れ表現における不変性を強制することで、敵対的ロバスト性が向上するか？
• RQ2 A3T手法は、敵対的サンプルにおける一般化性能の観点から、標準的な敵対的訓練と比べてどのように差がつくか？
• RQ3 敵対的訓練と表現レベルの不変性を組み合わせることで、単独で用いる場合よりも優れたロバスト性が得られるか？
• RQ4 ハイパーパrameter（β：不変性強度、ε：摂動の大きさ）にどれほど感度があるか？

主な発見

• A3Tは、クリーンなMNISTデータに対して98.72%のテスト正確度を達成し、クリーンデータのみを考慮した場合、標準的な敵対的訓練（98.89%）を上回った。
• ε = 0.1の敵対的サンプルにおいて、A3Tは96.10%の正確度を達成し、標準的な敵対的訓練（94.45%）とA2T（89.74%）を上回った。
• この手法は、分類器が敵対的サンプルに対して直接訓練されていなくても、識別器による不変性の強制がよりロバストな表現をもたらすことを示した。
• 識別器ベースの不変性損失（β = 1）と標準的な敵対的訓練（α = 0.5）を組み合わせた場合、最も優れた全体的な性能が得られた。
• 識別器は本物と敵対的特徴を効果的に区別するよう学習しており、この手法が隠れ表現における分布的差を的確に捉えていることが示された。
• MNIST上でのプロトタイプの有効性が示されたことから、さらなる調整により、より大きなデータセットやアーキテクチャへのスケーラビリティが期待できる。