[論文レビュー] Robustifying Models Against Adversarial Attacks by Langevin Dynamics

Vignesh Srinivasan, Arturo Marbán+3 more|arXiv (Cornell University)|May 30, 2018

Adversarial Robustness in Machine Learning参考文献 62被引用数 13

ひとこと要約

本稿では、メトロポリス補正付きランジュヴィンアルゴリズム（MALA）を用いて、敵対的入力を元のクラスに属する真のデータ多様体の高密度領域へ再投影する、MALADEと呼ばれる新しい防御手法を提案する。教師付きノイズ除去オートエンコーダ（sDAE）を用いて推定された条件付きスコア関数 $\nabla_{\mathbf{x}}\log p(\mathbf{x}|\mathbf{y})$ を通じて、隣接するクラスタへの誤分類を回避する仕組みを備えることで、CIFAR-10およびTinyImageNetにおける白ボックスおよびブラックボックス攻撃に対して最先端の性能を達成する。

ABSTRACT

Adversarial attacks on deep learning models have compromised their performance considerably. As remedies, a lot of defense methods were proposed, which however, have been circumvented by newer attacking strategies. In the midst of this ensuing arms race, the problem of robustness against adversarial attacks still remains unsolved. This paper proposes a novel, simple yet effective defense strategy where adversarial samples are relaxed onto the underlying manifold of the (unknown) target class distribution. Specifically, our algorithm drives off-manifold adversarial samples towards high density regions of the data generating distribution of the target class by the Metroplis-adjusted Langevin algorithm (MALA) with perceptual boundary taken into account. Although the motivation is similar to projection methods, e.g., Defense-GAN, our algorithm, called MALA for DEfense (MALADE), is equipped with significant dispersion - projection is distributed broadly, and therefore any whitebox attack cannot accurately align the input so that the MALADE moves it to a targeted untrained spot where the model predicts a wrong label. In our experiments, MALADE exhibited state-of-the-art performance against various elaborate attacking strategies.

研究の動機と目的

• 既存の防御が回避する可能性のある適応的攻撃に直面する際の、深層ニューラルネットワークにおける敵対的ロバストネスの持続的課題に対処すること。
• 分類クラスに特化した多様体ガイドランスを統合することで、従来のプロジェクションベースの防御を改善し、誤ったクラスクラスタに近接することによる誤分類を防止すること。
• 追加のトレーニングデータを必要とせず、白ボックスおよびブラックボックス攻撃の両方に対してロバストである防御メカニズムを構築すること。
• マージナル分布ではなく条件付き分布を用いたガイドランスにより、スコアベースの拡散を用いて真のデータ多様体からの有効なサンプリングを可能にすること。
• CIFAR-10およびTinyImageNetなどの高次元かつ大規模なデータセットにおいて、MALADEの有効性を実証すること。

提案手法

• MALADEは、入力の予測クラス $\mathbf{y}$ を条件とする条件付きデータ分布 $p(\mathbf{x}|\mathbf{y})$ からのサンプリングに、メトロポリス補正付きランジュヴィンアルゴリズム（MALA）を用いる。
• この手法は、推論時に真のラベルを明示的に必要としない教師付きノイズ除去オートエンコーダ（sDAE）を用いて、勾配 $\nabla_{\mathbf{x}}\log p(\mathbf{x}|\mathbf{y})$ を推定する。
• MALAを用いて敵対的入力を、元のクラスに対応するデータ多様体の高密度領域へ段階的に摺り合わせることで、ロバストネスを向上させる。
• アルゴリズムは、クラス条件付きスコア推定を用いることで知覚的境界を導入し、他のクラスの低密度領域への逸脱を防ぐ。
• 再トレーニングやファインチューニングを必要とせず、推論時のみに適用可能であるため、事前学習済みモデルと互換性がある。
• サンプリングプロセスの安定化のためのバーンインフェーズを用い、複数のMALAサンプルの多数決による最終予測を実施する。

実験結果

リサーチクエスチョン

• RQ1 MALAによるスコアベースのサンプリングは、敵対的入力を元のクラスの真のデータ多様体へロバストに再投影できるか？
• RQ2 条件付きスコア推定（$\nabla_{\mathbf{x}}\log p(\mathbf{x}|\mathbf{y})$）を組み込むことで、マージナルスコア推定と比較して防御のロバストネスが顕著に向上するか？
• RQ3 MALADEは、PGD-$L_\infty$ やSaltnPepper、境界攻撃などの高度な白ボックス攻撃に対して、どのように性能を発揮するか？
• RQ4 CIFAR-10 や TinyImageNet といった大規模データセットにおいて、データの複雑さと多様体構造の難易度が高いため、MALADEは一般化可能か？
• RQ5 MALADEは、敵対的摂動下でも高いクリーン精度を維持しながら、顕著に高いロバスト精度を達成できるか？

主な発見

• MALADEは、PGD-$L_\infty$ 白ボックス攻撃下において、CIFAR-10およびTinyImageNetの両方で最先端の防御手法を上回り、優れたロバストネスを示した。
• CIFAR-10では、$\epsilon = 8/255$ のPGD-$L_\infty$ 攻撃に対して78.2%のロバスト精度を達成し、ベースラインモデルを顕著に上回った。
• TinyImageNetでは、PGD-$L_\infty$ 攻撃下でベースラインのALP防御と比較して、ロバスト精度が12.3ポイント向上した。
• MALADEは、SaltnPepper や境界攻撃などのブラックボックス攻撃を含む多様な攻撃タイプに対して一貫してロバストネスを向上させ、広域的防御能力を示した。
• アブレーションスタディの結果、条件付きスコア推定（$p(\mathbf{x}|\mathbf{y})$）が不可欠であることが確認された。マージナル分布（$p(\mathbf{x})$）を用いたMALAでは、誤ったクラスクラスタへのドリフトにより性能が著しく低下した。
• MALADEは、クリーン精度を高い水準で維持した（例：CIFAR-10で92.1%）ことから、自然入力に対する性能低下が最小限に抑えられ、強力なロバストネスを実現していることが示された。