[論文レビュー] Rallying Adversarial Techniques against Deep Learning for Network Security

Joseph Clements, Yuzhe Yang+3 more|arXiv (Cornell University)|Mar 27, 2019

Network Security and Intrusion Detection被引用数 16

ひとこと要約

この論文は、Kitsune などのディープラーニングベースのネットワークインシデント検出システム（DL-NIDS）が、パケットあたりたった1.38の特徴変更で十分な入力摂動によって検出を回避できるような悪意ある攻撃に対して極めて脆弱であることを示している。著者らは、標的型最適化フレームワークを用いて悪意ある例を生成することで、低可視性を保ちつつ信頼性高くこれらのモデルをだますことが可能であることを示しており、AI駆動のネットワークセキュリティシステムにおける深刻なセキュリティ的欠陥を露呈している。

ABSTRACT

Recent advances in artificial intelligence and the increasing need for powerful defensive measures in the domain of network security, have led to the adoption of deep learning approaches for use in network intrusion detection systems. These methods have achieved superior performance against conventional network attacks, which enable the deployment of practical security systems to unique and dynamic sectors. Adversarial machine learning, unfortunately, has recently shown that deep learning models are inherently vulnerable to adversarial modifications on their input data. Because of this susceptibility, the deep learning models deployed to power a network defense could in fact be the weakest entry point for compromising a network system. In this paper, we show that by modifying on average as little as 1.38 of the input features, an adversary can generate malicious inputs which effectively fool a deep learning based NIDS. Therefore, when designing such systems, it is crucial to consider the performance from not only the conventional network security perspective but also the adversarial machine learning domain.

研究の動機と目的

• ディープラーニングベースのネットワークインシデント検出システム（DL-NIDS）が悪意ある機械学習攻撃に対して脆弱であるかどうかを調査すること。
• 現実のネットワークトラフィック環境下で、最先端の DL-NIDS である Kitsune が悪意ある例に対してどれほど耐性があるかを評価すること。
• DL-NIDS をだますために必要な最小摂動を、ステルス性と有効性を保ったまま定量化すること。
• DL-NIDS が従来のネットワークセキュリティ性能だけでなく、悪意ある操作に対する耐性についても評価する必要性を強調すること。

提案手法

• 著者らは、誤分類、摂動の大きさ、入力の一貫性のバランスをとる多目的最適化関数に基づく標的型悪意ある攻撃フレームワークを用いる。
• 摂動の大きさを測定するために L1、L2、L∞、L0 範囲を含む攻撃定式化を行い、攻撃成功と摂動コストのトレードオフを制御する正則化パラメータ c を用いる。
• 勾配ベースの最適化手法を用い、悪意ある誤分類と Lp 範囲正則化を組み合わせた損失関数を定義する。
• 攻撃は Kitsune モデルの入力特徴に直接適用され、通常のネットワークトラフィックの変動範囲内に収まる悪意あるパケット変更をシミュレートする。
• 特徴抽出器とパケットパーサーを活用することで、摂動が意味的に妥当であり、ネットワークレベルの解釈を損なわないようにする。
• 最適なパrameter設定（c=450、β=1×10⁻⁵）は経験的評価により決定され、100％の攻撃成功率を達成し、L1 距離は5.9518と低く、特徴変更数も少ない。

実験結果

リサーチクエスチョン

• RQ1 最小限の入力摂動で、ディープラーニングベースのネットワークインシデント検出システムをだます悪意ある例を生成できるか？
• RQ2 Kitsune のような DL-NIDS に対して100％の回避率を達成するために必要な最小の特徴変更数は何か？
• RQ3 L1、L2、L∞、L0 などの異なる Lp 範囲制約が、DL-NIDS に対する悪意ある攻撃のステルス性と有効性にどのように影響するか？
• RQ4 正則化パラメータ c が攻撃成功と摂動の大きさのトレードオフに与える影響はどの程度か？
• RQ5 β の選択が攻撃最適化におけるスパarsity と摂動の大きさに与える影響は何か？

主な発見

• 本研究は、悪意ある例が平均してパケットあたりたった1.38の特徴変更で Kitsune DL-NIDS を効果的にだますことができることを示している。
• 正則化パラメータ c=450 では、L1 距離が5.9518と低く保たれる一方で100％の攻撃成功率を達成しており、高いステルス性を示している。
• c が数え千に達しても L1 距離はほとんど変化せず、ある閾値を超えると収益が減少することが示唆されている。
• β を 1×10⁻⁵ から 1×10⁰ に増加させると、L0 距離は96.61から1.01に低下し、スパarsity が著しく向上し、特徴変更数が減少することが示された。
• β が 2×10¹ に達すると、攻撃成功率は0.84％に低下し、β=5×10¹ では0.08％にまで低下する。これは、β の値が高くなると攻撃の有効性が著しく低下することを示している。
• 結果から、悪意ある機械学習攻撃は、悪意のないトラフィックに対して高い精度を示すモデルに対しても、現実的で深刻な脅威をもたらすことが確認された。