[論文レビュー] Using Non-invertible Data Transformations to Build Adversarial-Robust Neural Networks

Qinglong Wang, Wenbo Guo+7 more|arXiv (Cornell University)|Oct 6, 2016

Adversarial Robustness in Machine Learning参考文献 33被引用数 9

ひとこと要約

本論文は、深層ニューラルネットワークにおける adversarial robustness を向上させるために、非可逆なデータ変換（特に DLM および DrLIM を用いた次元削減）を用いる新しい防御フレームワークを提案する。この手法により、特徴の逆方向再構成が不可能になるため、 adversarial sample の作成が困難になり、最先端の手法と比較して精度の低下を最小限に抑えつつ優れた耐性を達成する。

ABSTRACT

Deep neural networks have proven to be quite effective in a wide variety of machine learning tasks, ranging from improved speech recognition systems to advancing the development of autonomous vehicles. However, despite their superior performance in many applications, these models have been recently shown to be susceptible to a particular type of attack possible through the generation of particular synthetic examples referred to as adversarial samples. These samples are constructed by manipulating real examples from the training data distribution in order to "fool" the original neural model, resulting in misclassification (with high confidence) of previously correctly classified samples. Addressing this weakness is of utmost importance if deep neural architectures are to be applied to critical applications, such as those in the domain of cybersecurity. In this paper, we present an analysis of this fundamental flaw lurking in all neural architectures to uncover limitations of previously proposed defense mechanisms. More importantly, we present a unifying framework for protecting deep neural models using a non-invertible data transformation--developing two adversary-resilient architectures utilizing both linear and nonlinear dimensionality reduction. Empirical results indicate that our framework provides better robustness compared to state-of-art solutions while having negligible degradation in accuracy.

研究の動機と目的

• 深層ニューラルネットワークが特徴の解釈可能性と重要度に起因する adversarial sample の根本的な脆弱性に対処すること。
• adversarial training や knowledge distillation などの既存の防御手法が、未知の攻撃や適応的攻撃に対して失敗するという限界を克服すること。
• 正当な入力に対するモデルの精度を損なわずに、可逆攻撃の計算複雑性を高める防御フレームワークを設計すること。
• 非可逆変換を統合することで、攻撃者が入力特徴を再構成するか、モデル固有の adversarial example を作成できないようにする包括的なアーキテクチャを開発すること。
• 非可逆次元削減が、清浄データに対する高い精度を維持しながら耐性を向上させることを実験的に検証すること。

提案手法

• DNN にデータを入力する前に、DLM（Discriminant LDA-based Mapping）および DrLIM（Dimensionality Reduction with Locality-Inducing Maps）を用いた非可逆次元削減を適用する。
• 高次元のサンプル間の類似性を低次元空間に保つ線形および非線形の次元削減技術を用い、adversarial パーティクルがより検出されやすくなるようにする。
• 変換が非可逆であることを保証し、攻撃者が元の特徴を再構成するか、補助モデルによる特徴重要度分析を実行できないようにする。
• 次元削減モジュールを DNN アーキテクチャの前処理レイヤーとして統合し、変換と分類の2段階構造を持つシステムを構築する。
• 非可逆マッピングにより特徴レベルの解析が困難になることを利用し、勾配ベースやサーヴェイルモデル攻撃を用いた攻撃が不可能になるようにする。
• 標準的なバックプロパゲーションを用いて変換済みデータ上で DNN を学習させ、清浄データに対する高い精度を維持しながら adversarial example に対する耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非可逆なデータ変換は、清浄データの精度を損なわせずに adversarial sample の作成を著しく困難にすることができるか？
• RQ2 局所的類似性を保持する次元削減は、adversarial パーティクルに対して耐性を向上させるか？
• RQ3 非可逆変換に基づく防御機構は、補助モデルを用いた特徴重要度分析を攻撃者が行えないようにするか？
• RQ4 adversarial training や knowledge distillation と比較して、本フレームワークは未知の adversarial 攻撃に対してどれほど耐性があるか？
• RQ5 特徴の逆方向再構成を計算的に不可能にするように設計された防御は、provably resilient な攻撃に対して有効であるか？

主な発見

• MNIST データセットにおいて、本フレームワークは最先端の手法と比較して、adversarial sample に対する誤差率が顕著に低かった。
• 清浄（adversarial でない）データに対する精度はほぼ同一であり、顕著な低下がなかった。
• 変換済みモデルを対象とした adversarial sample は、はるかに大きな摂動を要するため、より検出されやすくなった。
• 理論的分析により、DrLIM を用いた2番目のアーキテクチャでは、変換の非可逆性のため、攻撃者が有効な adversarial sample を作成することは不可能であることが示された。
• adversarial training や knowledge distillation などの従来手法は不十分であり、攻撃者がモデル構造や勾配を活用して still adversarial sample を生成できる。
• DLM および DrLIM は両方とも非可逆的で計算効率が良く、重要な特徴および類似性情報を保持するため、本防御フレームワークに最適である。