[論文レビュー] Stochastic Combinatorial Ensembles for Defending Against Adversarial Examples

George-Alexandru Adam, Petr Smirnov+3 more|arXiv (Cornell University)|Aug 20, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用数 4

ひとこと要約

この論文は、線形の変分オートエンコーダー（VAE）の数を用いて、ニューラルネットワークの深さを活用することで、指数関数的に大きなアンサンブルモデルを生成する確率的防御フレームワークを提案する。層間に確率的にVAEを挿入することにより、直交勾配を介して敵対的転送性を低減し、高い検出精度を達成する。敵対的例のうち7%未満が、統合された防御および検出システムを欺くにとどまる。

ABSTRACT

Many deep learning algorithms can be easily fooled with simple adversarial examples. To address the limitations of existing defenses, we devised a probabilistic framework that can generate an exponentially large ensemble of models from a single model with just a linear cost. This framework takes advantage of neural network depth and stochastically decides whether or not to insert noise removal operators such as VAEs between layers. We show empirically the important role that model gradients have when it comes to determining transferability of adversarial examples, and take advantage of this result to demonstrate that it is possible to train models with limited adversarial attack transferability. Additionally, we propose a detection method based on metric learning in order to detect adversarial examples that have no hope of being cleaned of maliciously engineered noise.

研究の動機と目的

• 白ボックス攻撃設定下での深層ニューラルネットワークの脆弱性に対処すること。
• 確率的VAE挿入によるモデル勾配の操作により、モデル間の敵対的転送性を低減すること。
• 最小限の計算オーバーヘッドで、大規模なアンサンブルモデルを生成できる軽量でスケーラブルな防御機構を開発すること。
• 三重組み合わせネットワークアーキテクチャを用いたメトリクス学習により、自然な入力と敵対的入力を区別する検出を向上させること。

提案手法

• 深層ニューラルネットワークの層間に確率的にVAEを挿入し、線形の訓練コストで指数的サイズの確率的アンサンブルモデルを生成する。
• VAEを、再構成が元の入力と視覚的にほとんど同一に見える場合でさえも、制御された勾配変動を導入するように訓練する。
• モデル間の勾配直交性を、敵対的転送性を低減する主要な防御メカニズムとして用いる。
• VAEベースの分類器と、メトリクス学習を用いた三重組み合わせネットワーク検出器を統合し、自然入力と敵対的入力を区別する。
• 検出器の出力を分類器のログィットとして結合し、モデルの耐性を向上させるために、分類器と検出器を同時に最適化する共同モデルを構築する。
• 反復的攻撃（例：CW2）を適用し、敵対的最適化下での統合された防御および検出システムの耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 1つのモデルから線形計算コストでのみ、指数関数的に大きなアンサンブルモデルを確率的フレームワークが生成可能か？
• RQ2 確率的VAE挿入は、モデル勾配および敵対的転送性にどのように影響を与えるか？
• RQ3 モデル間の勾配直交性は、転送ベースの敵対的攻撃の成功率をどの程度低減できるか？
• RQ4 メトリクス学習に基づく検出器は、VAEベースのクリーニングに耐性のある敵対的例を効果的に同定できるか？
• RQ5 分類器と検出器の共同学習は、強力な敵対的攻撃に対する全体の耐性にどのように影響を与えるか？

主な発見

• 本手法は、VAEの数を線形に増やすだけで、指数関数的に大きなアンサンブルモデルを生成し、最小限のオーバーヘッドで顕著なモデル行動の多様性を達成した。
• 視覚的にほとんど同一の再構成が得られても、異なるVAEの配置が著しく異なる勾配を生成したため、VAEがほぼ恒等関数的勾配を持つという仮定に疑問を呈した。
• モデル間の勾配直交性は、敵対的転送性の低減に強く予測的であり、直交する勾配は、共同攻撃を著しく困難にした。
• 三重組み合わせネットワーク検出器は、分類器が欺された場合でも、敵対的例の検出精度が96%を超えた。
• 統合された防御および検出システムにより、CW2攻撃における敵対的攻撃成功率は7%未満に低下し、防御なしのモデルでは0.702の成功率が、両方のモジュールが有効な状態では0.635に低下した。