[論文レビュー] Adversary Resistant Deep Neural Networks with an Application to Malware Detection

Qinglong Wang, Wenbo Guo+5 more|arXiv (Cornell University)|Oct 5, 2016

Adversarial Robustness in Machine Learning参考文献 18被引用数 9

ひとこと要約

本論文は、学習および推論の段階で入力特徴を確率的に無効化することで、敵対的サンプルに対して強い耐性を示す手法であるRandom Feature Nullification (RFN)を提案する。RFNは、MNISTで最大91.28%、CIFAR-10で78.18%の耐性を達成するなど、敵対的攻撃に対して顕著な耐性を示し、分類精度を維持したまま、理論的・実験的両面での耐性保証を提供する。

ABSTRACT

Beyond its highly publicized victories in Go, there have been numerous successful applications of deep learning in information retrieval, computer vision and speech recognition. In cybersecurity, an increasing number of companies have become excited about the potential of deep learning, and have started to use it for various security incidents, the most popular being malware detection. These companies assert that deep learning (DL) could help turn the tide in the battle against malware infections. However, deep neural networks (DNNs) are vulnerable to adversarial samples, a flaw that plagues most if not all statistical learning models. Recent research has demonstrated that those with malicious intent can easily circumvent deep learning-powered malware detection by exploiting this flaw. In order to address this problem, previous work has developed various defense mechanisms that either augmenting training data or enhance model's complexity. However, after a thorough analysis of the fundamental flaw in DNNs, we discover that the effectiveness of current defenses is limited and, more importantly, cannot provide theoretical guarantees as to their robustness against adversarial sampled-based attacks. As such, we propose a new adversary resistant technique that obstructs attackers from constructing impactful adversarial samples by randomly nullifying features within samples. In this work, we evaluate our proposed technique against a real world dataset with 14,679 malware variants and 17,399 benign programs. We theoretically validate the robustness of our technique, and empirically show that our technique significantly boosts DNN robustness to adversarial samples while maintaining high accuracy in classification. To demonstrate the general applicability of our proposed method, we also conduct experiments using the MNIST and CIFAR-10 datasets, generally used in image recognition research.

研究の動機と目的

• マルウェア作者が検出を回避するために悪用できる、深層ニューラルネットワーク（DNN）の敵対的サンプルに対する深刻な脆弱性を是正すること。
• 理論的保証がなく、実験的にも耐性に限界がある既存の防御手法の限界を克服すること。
• マルウェア検出のようなセキュリティが重要な応用分野における敵対的操作に対して、理論的および実験的に耐性のある防御機構を開発すること。
• 本手法の汎用性を、マルウェア、MNIST、CIFAR-10を含む多様なデータセット上で実証すること。
• 非決定的入力処理メカニズムを用いることで、敵対的攻撃に対する耐性を顕著に高めつつ、高い分類精度を維持すること。

提案手法

• 学習および推論の両段階で入力特徴を確率的に無効化することで、モデルの挙動を非決定的にする手法であるRandom Feature Nullification (RFN)を導入する。
• RFNは、固定確率（例：50%）で入力特徴の一部をゼロに設定することで実装され、入力レベルの正則化の一種として機能する。
• 従来のドロップアウトとは類似しているが、本質的に異なる。ドロップアウトは隠れ層のニューロンに作用するが、RFNは入力特徴に直接作用し、敵対的特徴設計を遮断する。
• RFNは学習段階とテスト段階の両方で適用され、攻撃者が重要な特徴を特定してモデルを逆算するのを防ぐ。
• アーキテクチャに依存せず、全結合ネットワークや畳み込みニューラルネットワーク（CNN）など、さまざまなDNNと互換性を持つ。
• 理論的分析により、特徴の重要度に内在する不確実性のため、攻撃者が効果的でかつモデル特有の敵対的サンプルを構築できなくなることが示された。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおける敵対的攻撃に対して、理論的および実験的保証を両立する防御機構を設計可能か？
• RQ2 Random Feature Nullification (RFN) は、既存の防御手法と比較して、マルウェア検出における敵対的サンプルに対する耐性向上にどの程度効果的か？
• RQ3 RFNは、多様なデータセットにおいて、敵対的摂動に対する耐性を顕著に高めつつも、高い分類精度を維持できるか？
• RQ4 RFNを敵対的訓練と組み合わせた場合、その性能はどのように変化し、より優れた耐性が得られるか？
• RQ5 RFNは、マルウェアバイナリやMNIST、CIFAR-10のような画像データセットなど、異なるデータタイプに一般化可能か？

主な発見

• MNISTデータセットでは、RFNが91.28%の耐性を示し、標準DNN（8.19%）、ドロップアウト（19.51%）、敵対的訓練（67.68%）を上回った。
• CIFAR-10では、RFNが78.18%の耐性を達成し、敵対的訓練（33.97%）と標準モデル（10.68%）を上回り、複雑な画像認識タスクにおける強い耐性を示した。
• RFNと敵対的訓練の組み合わせは、MNISTで91.28%、CIFAR-10で74.12%の最高耐性を達成し、相乗効果が確認された。
• 50%の特徴無効化率でも、RFNは高い分類精度を維持した—MNISTで96.78%、CIFAR-10で74.02%—強力な耐性にもかかわらず、精度の低下は最小限に抑えられた。
• 14,679のマルウェアバージョンと17,399の正常プログラムを含む実世界のマルウェアデータセットにおける実験結果から、RFNがDNNの耐性を顕著に向上させつつ、高い精度を維持することが確認された。
• 理論的分析により、RFNが攻撃者が重要な特徴を信頼性高く特定するのを妨げ、モデルの非決定性のため敵対的サンプルの構築が無効になることが裏付けられた。