[論文レビュー] Adversarial Images for Variational Autoencoders

Pedro Tabacof, Julia Tavares+1 more|arXiv (Cornell University)|Dec 1, 2016

Adversarial Robustness in Machine Learning参考文献 19被引用数 62

ひとこと要約

この論文は、変分オートエンコーダーおよび決定論的オートエンコーダーに対する新たな敵対的攻撃を提案し、入力画像を歪ませることで、潜在表現を操作して完全に異なるターゲット画像の再構成を強制する。入力歪みとターゲットへの再構成類似度の間には準線形的トレードオフが存在し、これはオートエンコーダーが分類器よりも著しく頑健であることを示唆している。これは、非線形出力正規化を除去した場合、両者とも内部感受性が比例的であるにもかかわらずである。

ABSTRACT

We investigate adversarial attacks for autoencoders. We propose a procedure that distorts the input image to mislead the autoencoder in reconstructing a completely different target image. We attack the internal latent representations, attempting to make the adversarial input produce an internal representation as similar as possible as the target's. We find that autoencoders are much more robust to the attack than classifiers: while some examples have tolerably small input distortion, and reasonable similarity to the target image, there is a quasi-linear trade-off between those aims. We report results on MNIST and SVHN datasets, and also test regular deterministic autoencoders, reaching similar conclusions in all cases. Finally, we show that the usual adversarial attack for classifiers, while being much easier, also presents a direct proportion between distortion on the input, and misdirection on the output. That proportionality however is hidden by the normalization of the output, which maps a linear layer into non-linear probabilities.

研究の動機と目的

• オートエンコーダーに特化した敵対的攻撃戦略の開発と評価。オートエンコーダーは入力を再構成することを目的としているが、分類を目的としていない。
• 変分オートエンコーダーおよび決定論的オートエンコーダーが、異なるターゲット画像の再構成を強制する敵対的摂動に対してどれほど頑健であるかを調査する。
• 敵対的攻撃のオートエンコーダーと分類器との行動の違い、特に入力歪みと出力誤導のトレードオフの観点から比較する。
• 分類器の攻撃における顕著な非線形性が、出力正規化の結果であるかどうかを、ロジット空間を分析することで検証する。

提案手法

• 攻撃はオートエンコーダーの内部潜在表現を標的とし、エンコーダーの出力がターゲット画像の潜在コードと一致するように入力摂動を最適化する。
• この手法は、オートエンコーダーの再構成出力をターゲット画像と一致させるように損失関数を最小化し、同時に摂動のL2ノルムを小さく制約する。
• MNISTおよびSVHNデータセットを用いて、変分オートエンコーダー（VAEs）および決定論的オートエンコーダー（AEs）に対して評価を行い、正則化定数を変化させることでトレードオフを探索する。
• 比較のため、分類器に対する標準的なFGSMスタイルの攻撃を適用し、出力を確率からロジットに変換することで、内在的な線形性を評価する。
• 複数回の実験で正則化パラメータを変化させ、入力歪みと出力類似度のトレードオフを定量的に評価する。
• 敵対的例の可視化と、歪み対再構成類似度のプロットを含み、飽和点を特定する。

実験結果

リサーチクエスチョン

• RQ1 敵対的摂動を設計することで、オートエンコーダーが完全に異なるターゲット画像の再構成を強制できるか？
• RQ2 オートエンコーダーの敵対的攻撃に対する頑健性は、深層ニューラルネットワーク分類器と比べてどうか？
• RQ3 分類器の攻撃において顕在する非線形的成功率は、非線形なソフトマックス出力層の結果であるのか、それともモデルの内部表現に内在する線形感受性があるのか？
• RQ4 オートエンコーダーにおける入力歪みと再構成誤導の間のトレードオフの性質は何か？
• RQ5 分類器のロジット空間においても、摂動と出力の間の同じ線形関係が成り立つか？これは共通の内在的メカニズムを示唆するか？

主な発見

• オートエンコーダーは、入力歪みとターゲット画像への再構成類似度の間で準線形的トレードオフを示し、これは顕著な誤導を達成するには比例的に大きな歪みが必要であることを示している。
• 困難であるにもかかわらず、正則化が低い場合には、中程度の入力摂動でオートエンコーダーの攻撃が依然として高いターゲット再構成類似度を達成できる。
• 分類器に対する攻撃では確率空間では非線形的成功曲線が観察されるが、ロジット空間に変換するとこの非線形性は消失し、オートエンコーダーと同様の内在的線形感受性が明らかになる。
• 入力歪みと出力誤導の比例関係は、オートエンコーダーと分類器の両者に内在するが、分類器では非線形出力正規化のおかげで小さな変化が拡大され、攻撃がより効果的になる。
• 結果から、深層モデルの線形性が敵対的攻撃への脆弱性の背後にある根拠であり、オートエンコーダーはこのような非線形出力変換がないため、より頑健であることが示唆される。
• 本研究は、オートエンコーダーが分類器よりも著しく攻撃に対して耐性があることを確認した。これは、両者とも内部表現において比例的感受性を示すにもかかわらずである。