[論文レビュー] Robust Pre-Processing: A Robust Defense Method Against Adversary Attack

Adnan Siraj Rakin, Zhezhi He+2 more|arXiv (Cornell University)|Feb 5, 2018

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、双曲正弦関数（Tanh）活性化関数、平滑化、バッチ正則化を用いて、敵対的攻撃に対してモデルの耐性を高める、ロバストな前処理を提案する。白箱攻撃下でのMNISTにおける正確性は98.7%に達し、最先端の防御手法を上回るが、敵対的訓練を必要とせず、クリーンデータの正確性を維持する。

ABSTRACT

Deep learning algorithms and networks are vulnerable to perturbed inputs which are known as the adversarial attack. Many defense methodologies have been investigated to defend such adversarial attack. In this work, we propose a novel methodology to defend the existing powerful attack model. Such attack models have achieved record success against MNIST dataset to force it to miss-classify all of its inputs. Whereas Our proposed defense method robust pre-processing achieves the best accuracy among the current state of the art defenses. It consists of Tanh (hyperbolic tangent) function, smoothing and batch normalization to process the input data which will make it more robust over the adversarial attack. robust pre-processing improves the white box attack accuracy of MNIST from 94.3% to 98.7%. Even with increasing defense when others defenses completely fail, robust pre-processing remains one of the strongest ever reported. Another strength of our defense is that it eliminates the need for adversarial training as it can significantly increase the MNIST accuracy without adversarial training as well. This makes it a more generalized defense method with almost half training overhead and much-improved accuracy. robust pre-processing can also increase the inference accuracy in the face of the powerful attack on CIFAR-10 and SVHN data set as well without much sacrificing clean data accuracy.

研究の動機と目的

• 微小で目に見えない入力の摂動を利用した敵対的攻撃に対して脆弱である深層学習モデルの問題を解決すること。
• 敵対的訓練に依存せず、訓練のオーバーヘッドを増加させない防御手法を開発すること。
• 白箱攻撃に対して顕著に耐性を高めつつ、クリーンデータの正確性を高い水準で維持すること。
• MNIST、CIFAR-10、SVHNを含む複数のデータセットに一般化し、クリーン入力での性能劣化を最小限に抑えること。

提案手法

• モデルに供給する前に、入力データを正規化・安定化するために双曲正弦関数（Tanh）関数を適用する。
• 敵対的例に特徴的な微小な入力摂動への感受性を低減するために、平滑化処理を導入する。
• バッチ正則化を用いて入力分布をさらに安定化させ、推論時の一般化性能を向上させる。
• Tanh、平滑化、バッチ正則化を組み合わせた前処理パイプラインを用いて、生の入力をモデル推論前に処理する。
• 主モデルアーキテクチャに依存しないプラグインモジュールとして動作し、広範な互換性を実現する。
• 敵対的訓練を回避し、入力変換に依存することで、本質的に耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を必要とせず、強力な白箱攻撃に対して耐性を高める前処理パイプラインは、実現可能か？
• RQ2 ロバストな前処理は、複数のベンチマークデータセットにおけるクリーンデータ正確性にどのように影響を与えるか？
• RQ3 白箱攻撃下のMNISTにおいて、ロバストな前処理は、既存の最先端防御をどの程度上回るか？
• RQ4 本手法は、CIFAR-10 や SVHN などの他のデータセットに対しても一般化可能であり、クリーン正確性を保持できるか？

主な発見

• ロバストな前処理により、白箱攻撃下でのMNISTにおける正確性が94.3%から98.7%に向上し、現在のすべての最先端防御を上回る。
• 敵対的訓練を必要とせず、MNIST、CIFAR-10、SVHNのクリーンデータ正確性を高い水準で維持する。
• 敵対的訓練ベースの防御と比較して、訓練のオーバーヘッドを約半分に削減する。
• 攻撃強度が増加する中でも、他の防御が失敗する状況でも、本防御は依然として有効である。
• 前処理パイプラインは複数のデータセットにおいて耐性を高める効果を示し、MNISTにとどまらない一般化性能を示す。
• Tanh、平滑化、バッチ正則化の組み合わせは、敵対的摂動に対して耐性を持つ安定した入力変換を実現する。