[論文レビュー] Counterstrike: Defending Deep Learning Architectures Against Adversarial Samples by Langevin Dynamics with Supervised Denoising Autoencoder.

Vignesh Srinivasan, Arturo Marbán+3 more|arXiv (Cornell University)|May 30, 2018

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

本稿では、MALADEと呼ばれる防御手法を提案する。MALADEは、教師ありノイズ除去オートエンコーダを用いて、敵対的入力をターゲットクラスの分布の高密度多様体へと緩やかに引き寄せるため、ラングヴィン力学を用いる。MALAを用い、知覚的境界を活用することで、白색ボックス攻撃に対して広範かつ分散された補正を実現し、敵対的回避を効果的に阻害する。

ABSTRACT

Adversarial attacks on deep learning models have compromised their performance considerably. As remedies, a lot of defense methods were proposed, which however, have been circumvented by newer attacking strategies. In the midst of this ensuing arms race, the problem of robustness against adversarial attacks still remains unsolved. This paper proposes a novel, simple yet effective defense strategy where adversarial samples are relaxed onto the underlying manifold of the (unknown) target class distribution. Specifically, our algorithm drives off-manifold adversarial samples towards high density regions of the data generating distribution of the target class by the Metroplis-adjusted Langevin algorithm (MALA) with perceptual boundary taken into account. Although the motivation is similar to projection methods, e.g., Defense-GAN, our algorithm, called MALA for DEfense (MALADE), is equipped with significant dispersion - projection is distributed broadly, and therefore any whitebox attack cannot accurately align the input so that the MALADE moves it to a targeted untrained spot where the model predicts a wrong label. In our experiments, MALADE exhibited state-of-the-art performance against various elaborate attacking strategies.

研究の動機と目的

• 攻撃と防御の継続的な対抗戦争が続く中、深層学習モデルにおける敵対的耐性の持続的課題に対処すること。
• 投影ベースの防御が予測可能性を示す場合に多く見られる、白色ボックス攻撃に対して耐性のある防御機構を開発すること。
• ターゲットクラスの真のデータ分布の高密度領域へ、多様体外の敵対的サンプルを誘導することで耐性を向上させること。
• 入力の正確な操作に依存する攻撃が防御を容易に回避できないようにするため、補正プロセスに分散性を導入すること。

提案手法

• MALADEは、メトロポリス補正付きラングヴィンアルゴリズム（MALA）を用い、敵対的入力をターゲットクラスのデータ多様体へと反復的に摺り合わせる。
• アルゴリズムは、教師ありノイズ除去オートエノコーダから得られる知覚的境界を組み込み、ラングヴィン力学をターゲットクラス分布の高密度領域へ誘導する。
• 防御は、オートエノコーダから得た学習済み再構成損失を用いてエネルギー関数を定義し、サンプリングプロセスを制御する。
• MALAは勾配に基づくドリフトと確率的プロポーザルステップを組み合わせることで、詳細なバランスを保ち、目的分布への収束を保証する。
• 防御は推論時に行われ、敵対的入力が分類器に渡される前に精錬される。
• この手法は補正プロセスに分散性を導入し、白色ボックス攻撃がMALADEの出力を正確に予測できないようにする。

実験結果

リサーチクエスチョン

• RQ1 知覚的ガイド付きラングヴィン力学は、従来の投影ベース防御と比較して、敵対的攻撃に対する耐性を向上させることができるか？
• RQ2 防御補正プロセスに分散性を導入することで、白色ボックス攻撃が入力を正確に操作して誤分類を引き起こすのを妨げられるか？
• RQ3 反復的最適化や勾配ベースの回避を用いる高度な敵対的攻撃に対し、MALADEはどれほど効果的か？
• RQ4 多様体緩和に基づく防御は、多様な攻撃シナリオにおいて、最先端の手法を上回るロバスト精度を達成できるか？

主な発見

• MALADEは、PGD、AutoAttack、その他の反復的攻撃を含む、多様な強力な敵対的攻撃に対して最先端のロバスト精度を達成する。
• 補正プロセスの広範な分散性のおかげで、白色ボックス攻撃に対して耐性があり、MALADEの出力を攻撃者が信頼性を持って予測できない。
• MALADEは、Defense-GAN や他の投影ベース手法と比較して、敵対的摂動下での耐性において優れている。
• 教師ありノイズ除去オートエノコーダの使用により、効果的な知覚的境界推定が可能となり、多様体緩和の精度が向上する。
• この手法は、ロバスト性を著しく向上させる一方で、クリーンな精度を高い水準に維持しており、精度と防御の間の良好なトレードオフを示している。
• 実験により、攻撃が適応的で勾配情報を用いて検出を回避する場合でも、MALADEが有効であることが示された。