[論文レビュー] Deep PackGen: A Deep Reinforcement Learning Framework for Adversarial Network Packet Generation

Soumyadeep Hore, Jalal Ghadermazi+4 more|arXiv (Cornell University)|May 18, 2023

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

Deep PackGen は深層強化学習を用いて、機能を維持しつつ善意に見せかける敵対的なフォワードネットワークパケットを生成する。 surrogate NIDS分類器に対して評価し、顕著な敵対的成功を示す。

ABSTRACT

Recent advancements in artificial intelligence (AI) and machine learning (ML) algorithms, coupled with the availability of faster computing infrastructure, have enhanced the security posture of cybersecurity operations centers (defenders) through the development of ML-aided network intrusion detection systems (NIDS). Concurrently, the abilities of adversaries to evade security have also increased with the support of AI/ML models. Therefore, defenders need to proactively prepare for evasion attacks that exploit the detection mechanisms of NIDS. Recent studies have found that the perturbation of flow-based and packet-based features can deceive ML models, but these approaches have limitations. Perturbations made to the flow-based features are difficult to reverse-engineer, while samples generated with perturbations to the packet-based features are not playable. Our methodological framework, Deep PackGen, employs deep reinforcement learning to generate adversarial packets and aims to overcome the limitations of approaches in the literature. By taking raw malicious network packets as inputs and systematically making perturbations on them, Deep PackGen camouflages them as benign packets while still maintaining their functionality. In our experiments, using publicly available data, Deep PackGen achieved an average adversarial success rate of 66.4\% against various ML models and across different attack types. Our investigation also revealed that more than 45\% of the successful adversarial samples were out-of-distribution packets that evaded the decision boundaries of the classifiers. The knowledge gained from our study on the adversary's ability to make specific evasive perturbations to different types of malicious packets can help defenders enhance the robustness of their NIDS against evolving adversarial attacks.

研究の動機と目的

• パケットの機能を保ちながらMLベースのNIDSを回避する敵対的なネットワークパケットを生成するDRLベースのフレームワークを開発する。
• PCAPから取得した生のフォワードパケットを用いてパケット分類器を訓練し、敵対的検証のためのアンサンブル代替モデルを構築する。
• 分類器間・環境間での敵対的摂動の頑健性と転移性を評価する。
• 摂動戦略と副作用を分析し、進化する敵対的攻撃に対する防御側の頑健性を情報提供する。

提案手法

• CICIDS-2017/2018 からの生データ PCAP を処理して一方向フォワードパケットデータセットを作成する。
• ヘッダ情報を削除し、バイトを正規化してパケットの固定長特徴ベクトルを生成する。
• 防御側NIDSを模倣するアンサンブル代替分類器を構築し、最も性能の高いモデルを選択する。
• 敵対的パケット生成を制約付き摂動を伴う逐次決定問題（MDP）として定式化する。
• DDQN（Double Q-learning）DRL を適用し、アンサンブル全体で回避報酬を最大化する摂動方針を学習する。
• 未知の分類器に対して DRL 生成の敵対的パケットをテストし、敵対的成功率（ASR）を測定する。

実験結果

リサーチクエスチョン

• RQ1 DRLエージェントは、機械学習ベースのNIDSが悪性トラフィックを善良と誤分類するようなほぼ最適な摂動をフォワードネットワークパケットに学習できるか？
• RQ2 摂動はパケットの機能を保持し、実ネットワーク環境で実現可能なままであるか？
• RQ3 学習された摂動ポリシーは異なるデータセットや分類器間でどれだけ転移可能か？
• RQ4 成功した敵対的サンプルのうち、どの割合がアウトオブディストリビューション（OOD）で、複雑な分類器の決定境界を回避するか？

主な発見

• DRLベースのDeep PackGenは、さまざまなMLモデルと攻撃タイプに対して平均敵対的成功率66.4%を達成した。
• 成功した敵対的サンプルのうち45%以上がアウトオブディストリビューションのパケットで、分類器の境界を回避した。
• 摂動はフォワードパケットに限定され、機能を維持する有効な変更のみを許容し、副作用（例: チェックサム）を考慮している。
• このフレームワークは、学習した摂動の異なるネットワーク環境への転移性を示している。
• 提案された制約の下で、どの攻撃タイプが敵対者にとってより操作しやすいかについて洞察を提供する。