[論文レビュー] FENCE: Feasible Evasion Attacks on Neural Networks in Constrained Environments

Alesia Chernikova, Alina Oprea|arXiv (Cornell University)|Sep 23, 2019

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

FENCEは、特徴空間の依存関係を尊重することで、サイバーセキュリティ応用など制約付き環境における深層ニューラルネットワークの実行可能な回避攻撃を生成する、新しい反復的勾配ベースのフレームワークである。最小限で現実的ないじみのない摂動（例：12個のネットワーク接続の追加）によって、悪意あるソフトウェアやボットネット分類器を効果的に回避し、予測を「悪意ある」から「無害」に変更するが、データの妥当性を保つ。

ABSTRACT

As advances in Deep Neural Networks (DNNs) demonstrate unprecedented levels of performance in many critical applications, their vulnerability to attacks is still an open question. We consider evasion attacks at testing time against Deep Learning in constrained environments, in which dependencies between features need to be satisfied. These situations may arise naturally in tabular data or may be the result of feature engineering in specific application domains, such as threat detection in cyber security. We propose a general iterative gradient-based framework called FENCE for crafting evasion attacks that take into consideration the specifics of constrained domains and application requirements. We apply it against Feed-Forward Neural Networks trained for two cyber security applications: network traffic botnet classification and malicious domain classification, to generate feasible adversarial examples. We extensively evaluate the success rate and performance of our attacks, compare their improvement over several baselines, and analyze factors that impact the attack success rate, including the optimization objective and the data imbalance. We show that with minimal effort (e.g., generating 12 additional network connections), an attacker can change the model's prediction from the Malicious class to Benign and evade the classifier. We show that models trained on datasets with higher imbalance are more vulnerable to our FENCE attacks. Finally, we demonstrate the potential of performing adversarial training in constrained domains to increase the model resilience against these evasion attacks.

研究の動機と目的

• 特徴の依存関係を保持しなければならない制約付き環境（例：ネットワークトラフィックやマルウェア分類）における深層ニューラルネットワークの回避攻撃に対する脆弱性に対処すること。
• ネットワークトラフィックやマルウェア分類などの実世界の応用で一般的な線形および非線形の特徴制約をサポートできる汎用的なフレームワークを開発すること。
• FENCEの有効性を、ボットネット検出や悪意あるドメイン検出を含む実際のサイバーセキュリティユースケースで評価すること。
• データの不均衡と最適化目的が攻撃成功確率に与える影響を分析すること。
• 制約付きでドメイン特化された環境において、敵対的訓練が防御メカニズムとして有効である可能性を検討すること。

提案手法

• FENCEは、攻撃者の目的関数を各特徴に関して微分する反復的最適化プロセスを用いる。
• 各反復で、勾配が最大の特徴に依存する特徴のグループ（ファミリー）を特定し、それらを一括して変更することで妥当性制約を保持する。
• 元の入力からの総摂動距離に上限を設けることで、最小限で現実的な変更を保証する。
• フレームワークは線形および非線形制約を両方サポートしており、複雑な特徴依存関係を持つ多様なドメインへの適用を可能にする。
• 2つの最適化目的（Projected Gradient Descent（PGD）とペナルティ法（Carlini-Wagner））を統合し、性能を比較する。
• FENCEは、すべての中間および最終的な敵対的例が、ドメイン固有の制約によって定義される妥当領域内に留まるように保証する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークトラフィックやマルウェア分類のような、特徴の依存関係を保持しなければならない制約付きドメインにおいて、回避攻撃を効果的に実行できるか。
• RQ2 最適化目的の選択（PGD 対 Carlini-Wagner）が、制約付き環境における敵対的例の成功確率と妥当性に与える影響は何か。
• RQ3 トレーニングデータセットにおけるデータの不均衡が、FENCE風の回避攻撃に対するDNNの脆弱性にどの程度影響を与えるか。
• RQ4 制約付き環境における敵対的訓練は、FENCEタイプの攻撃に対するモデルの耐性を高めうるか。
• RQ5 現実的で最小限の摂動（例：12個のネットワーク接続の追加）が、実際のサイバーセキュリティワークロードにおける分類器の予測にどのような影響を与えるか。

主な発見

• FENCEは、ボットネット検出や悪意あるドメイン分類などのサイバーセキュリティ応用において、最小限で現実的な変更で実行可能な敵対的例を効果的に生成し、DNNを回避できる。
• Zeek接続ログにおいて、わずか12個のネットワーク接続を追加するだけで、悪意あるサンプルの予測を「悪意ある」から「無害」に変更できた。
• クラスの不均衡が強いデータセットでトレーニングされたモデルは、FENCE攻撃に対してより脆弱であることが判明し、データの不均衡がモデルの感受性を高めることを示唆している。
• FENCEにおけるPGDベースの最適化は、生成された例の妥当性と攻撃成功確率の両面で、Carlini-Wagnerペナルティ法を上回った。
• 制約付きドメインにおける敵対的訓練は、FENCE風の回避攻撃に対するモデルの耐性を高める可能性を示しており、防御メカニズムとして有望である。
• 連続ドメインからの標準的な敵対的訓練手法（例：PGD）は、制約付き環境では不十分であり、FENCEのようなドメインに特化した攻撃・防御フレームワークの導入が不可欠である。