[論文レビュー] Learning Adversary-Resistant Deep Neural Networks

Qinglong Wang, Wenbo Guo+5 more|arXiv (Cornell University)|Dec 5, 2016

Adversarial Robustness in Machine Learning参考文献 35被引用数 30

ひとこと要約

本論文は、深層ニューラルネットワーク（DNN）の敵対的攻撃に対する耐性を向上させるために、非パラメトリックな次元削減技術—局所線形埋め込み（LLE）—をDNN推論の前段階でデータ変換モジュールとして統合する、画期的な防御機構を提案する。従来の『見えない中での安全性』に依存する手法とは異なり、モデルアーキテクチャや学習詳細が公開されても依然として強い耐性を示し、MNIST、IMDB、マルウェアデータセットにおいて優れた耐性と分類精度を示した。

ABSTRACT

Deep neural networks (DNNs) have proven to be quite effective in a vast array of machine learning tasks, with recent examples in cyber security and autonomous vehicles. Despite the superior performance of DNNs in these applications, it has been recently shown that these models are susceptible to a particular type of attack that exploits a fundamental flaw in their design. This attack consists of generating particular synthetic examples referred to as adversarial samples. These samples are constructed by slightly manipulating real data-points in order to "fool" the original DNN model, forcing it to mis-classify previously correctly classified samples with high confidence. Addressing this flaw in the model is essential if DNNs are to be used in critical applications such as those in cyber security. Previous work has provided various learning algorithms to enhance the robustness of DNN models, and they all fall into the tactic of "security through obscurity". This means security can be guaranteed only if one can obscure the learning algorithms from adversaries. Once the learning technique is disclosed, DNNs protected by these defense mechanisms are still susceptible to adversarial samples. In this work, we investigate this issue shared across previous research work and propose a generic approach to escalate a DNN's resistance to adversarial samples. More specifically, our approach integrates a data transformation module with a DNN, making it robust even if we reveal the underlying learning algorithm. To demonstrate the generality of our proposed approach and its potential for handling cyber security applications, we evaluate our method and several other existing solutions on datasets publicly available. Our results indicate that our approach typically provides superior classification performance and resistance in comparison with state-of-art solutions.

研究の動機と目的

• マルウェア検出や自律走行システムなどのセキュリティが重要な応用分野におけるDNNの敵対的サンプルに対する深刻な脆弱性に対処すること。
• 『見えない中での安全性』に依存する既存の防御の根本的な欠陥を特定すること。この欠陥は、防御機構が暴露されると崩壊する。
• モデルと学習プロセスが完全に公開されても耐性を維持できる防御機構を開発すること。これにより、見えない中での安全性に依存するアプローチの限界を克服する。
• MNIST、IMDB、および大規模なマルウェアデータセットを含む多様なデータセット上で提案手法を評価し、一般化性能と性能向上を示すこと。

提案手法

• DNN分類器の前段階に、入力データを低次元の非線形表現に写像する局所線形埋め込み（LLE）モジュールを統合し、データ変換レイヤーとして機能させる。
• 非パラメトリックなLLEを用いて入力データを、敵対的摂動が効果を発揮しにくいハイパースペースに変換し、敵対的部分空間を「隠蔽」する。
• 理論的に、攻撃者が白ボックス条件下でも効果的な敵対的サンプルを生成するための計算複雑性が変換によって指数関数的に増加することを証明する。
• 非パラメトリックLLEを深層ニューラルネットワークで近似することで、白ボックス環境下でのエンドツーエンドの学習と評価を可能にする。
• 変換済みデータ上で標準的なDNN学習（バックプロパゲーションと交差エントロピー損失）を実行し、既存の学習パイプラインと互換性を保つ。
• 複数のベンチマークデータセット上で、$l_\infty$、$l_2$、$l_0$ノルムの下でブラックボックスおよびホワイトボックス攻撃を用いて耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルと学習アルゴリズムが完全に公開されても耐性を保つことができる防御機構を設計できるか。これにより、『見えない中での安全性』に依存しなくなるか。
• RQ2 LLEのような非パラメトリックな次元削減技術を統合することで、異なるデータ分布におけるDNNの敵対的攻撃に対する耐性にどのような影響を与えるか。
• RQ3 提案されたLLE-DNNアプローチは、実世界のデータセットにおいて、標準DNNおよび既存の防御機構と比較して分類精度を維持または向上させるか。
• RQ4 ブラックボックスおよびホワイトボックス攻撃の両状況下で、データ変換モジュールが敵対的サンプルの効果をどの程度制限するか。
• RQ5 非パラメトリックなLLEとパラメトリックな近似の間に、敵対的耐性に本質的に寄与する理論的下限が存在するか。

主な発見

• LLE-DNNは、マルウェアデータセットにおいて、評価されたすべてのモデルの中で最高の分類精度を達成し、スパarsityが著しいマルウェアデータにおける冗長性低減による特徴学習の向上を示した。
• ブラックボックス攻撃の下で、LLE-DNNは敵対的サンプルに対して最も強い抵抗性を示し、敵対的訓練や防御蒸留を上回った。
• ホワイトボックス条件—防御機構が完全に公開されている状況—でさえも、LLE-DNNは強力な耐性を維持し、他の手法と比較して顕著に高い敵対的精度を維持した。
• 敵対的攻撃の$ l_\infty $、$ l_2 $、$ l_0 $ノルムのすべてに対して、LLE-DNNの耐性は顕著に強く、標準DNNではそれぞれ6.86%、6.40%、7.50%に低下したが、LLE-DNNは著しく高い性能を維持した。
• 理論的分析と実験的結果から、LLEの非パラメトリック性が、防御が完全に暴露されても敵対的サンプル生成を制限する計算的障壁を形成することが示唆された。
• LLEをDNNで近似しても耐性が劣化しなかったため、防御機構の耐性が実装の不透明性ではなく、変換そのものの内在的性質に起因していることが示された。