[論文レビュー] Adversarial Defense of Image Classification Using a Variational Auto-Encoder

Yi Luo, Henry D. Pfister|arXiv (Cornell University)|Dec 7, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用数 7

ひとこと要約

本稿では、分類の前に入力を再構築するパッチ単位の変分自己オートエンコーダー（VAE）を用いた画像分類のためのユニバーサルな adversarial 防御を提案する。VAE が内蔵するランダムネスと分離表現を活用することで、FGSM および I-FGSM 攻撃に対して頑健性を示し、中程度から重度の摂動において JPEG 圧縮（品質 10）と同等またはそれを上回る性能を達成する。アンサンブルモデルは攻撃強度の変化に関わらず単一モデルを上回る性能を示す。

ABSTRACT

Deep neural networks are known to be vulnerable to adversarial attacks. This exposes them to potential exploits in security-sensitive applications and highlights their lack of robustness. This paper uses a variational auto-encoder (VAE) to defend against adversarial attacks for image classification tasks. This VAE defense has a few nice properties: (1) it is quite flexible and its use of randomness makes it harder to attack; (2) it can learn disentangled representations that prevent blurry reconstruction; and (3) a patch-wise VAE defense strategy is used that does not require retraining for different size images. For moderate to severe attacks, this system outperforms or closely matches the performance of JPEG compression, with the best quality parameter. It also has more flexibility and potential for improvement via training.

研究の動機と目的

• 異なる攻撃タイプやモデルアーキテクチャに対して再訓練を必要としない、画像分類における敵対的攻撃に対するユニバーサルな防御機構の開発。
• VAE サンプリングに内在するランダムネスを活用し、攻撃者による不確実性を高め、頑健性を向上させる。
• 重複するパッチと適応的ストライドを用いたパッチ単位の再構築により、高解像度画像における効率的な防御を実現。
• スムージングフィルタと調整可能な β ハイパーパrameter を用いて、パッチの接合に起因するアーティファクトを低減し、再構築の忠実度を向上。
• さまざまな攻撃強度において防御性能を評価し、JPEG 圧縮などの既存のベースラインと比較する。

提案手法

• 高解像度画像（例：299×299）から抽出したパッチを用いて VAE を学習させることで、訓練コストを低減し、スケーラビリティを向上。
• 入力画像を重複するパッチ（例：16×16、32×32、64×64）に分割し、各パッチを独立に VAE で再構築。その後、重複するピクセルを平均化して再構成画像を再構成。
• パッチ再構築のストライドをチューナブルなハイパーパrameterとして導入し、重なりと画像品質を制御。アーティファクト低減と摂動の保持のバランスをとる。
• 再構築後、5×5 のスムージングフィルタを適用して、接合部のエッジアーティファクトを軽減。フィルタが引き起こすぼやけを、β の増加と長時間の訓練により補償。
• 元のネットワークの変更や攻撃固有の再訓練を必要とせず、ターゲット分類器の前処理として防御を適用。
• 複数の VAE モデル（例：16×16、32×32、64×64）のアンサンブルを用い、再構築結果を平均化することで、さまざまな摂動の大きさにわたる頑健性を向上。

実験結果

リサーチクエスチョン

• RQ1 VAE ベースの再構築手法は、ターゲット分類器を変更せずに、多様な敵対的攻撃に対して効果的に防御できるか？
• RQ2 変動するパッチサイズとストライドを用いたパッチ単位の再構築戦略は、さまざまな摂動の大きさにおいて防御性能にどのように影響するか？
• RQ3 VAE サンプリングに内在するランダムネスは、決定的防御と比較して、どの程度頑健性を向上させるか？
• RQ4 複数の VAE モデルのアンサンブルは、小規模および大規模な摂動下での正確性回復の観点で、単一モデル防御と比べてどのように差がつくか？
• RQ5 VAE 防御は、知られている低コストな防御である JPEG 圧縮と同等またはそれ以上の頑健性を、さまざまな攻撃強度において示せるか？

主な発見

• 64×64 パッチ VAE モデルは、FGSM 攻撃（平均相対 L2 差 0.167）下で分類精度を 0.563 まで回復させ、中程度から重度の攻撃において JPEG 品質 10（0.548）を上回った。
• 小規模な摂動（L2 差 0.01）では、JPEG 品質 23 が 0.86 の精度を達成し、すべての VAE モデルを上回ったが、大規模な摂動では急激に 0.0401 まで低下した。
• アンサンブル平均化された VAE モデルは、小規模摂動では JPEG 品質 10 に近い性能を示した一方、大規模攻撃においても優れた頑健性を維持した。
• I-FGSM 攻撃（平均 L2 差 0.07）下で、単一の 64×64 VAE モデルは精度を 0.025 から 0.739 まで回復させ、強力な防御能力を示した。
• アンサンブルモデルは、個々の VAE と比較して小規模摂動に対する防御を向上させたが、大規模摂動では性能が低下した。これは、攻撃スケールに応じた頑健性のトレードオフを示している。
• 5×5 スムージングフィルタの適用により、健全な入力および敵対的入力の両方において、再構築画像の分類精度が約 10% 向上した。これは、再構築アーティファクト低減の有効性を確認するものである。