[論文レビュー] Deep Reinforcement Learning for Cyber System Defense under Dynamic Adversarial Uncertainties

Ashutosh Dutta, Samrat Chatterjee+2 more|arXiv (Cornell University)|Feb 3, 2023

Information and Cyber Security被引用数 9

ひとこと要約

本論文は、不確実なシステム状態の下でマルチステージの敵対者に適応する能動的サイバー防御を学習するデータ駆動型DRLフレームワークを提案し、カスタム OpenAI Gym 環境で4つのモデルフリーDRLアルゴリズムを評価している。

ABSTRACT

Development of autonomous cyber system defense strategies and action recommendations in the real-world is challenging, and includes characterizing system state uncertainties and attack-defense dynamics. We propose a data-driven deep reinforcement learning (DRL) framework to learn proactive, context-aware, defense countermeasures that dynamically adapt to evolving adversarial behaviors while minimizing loss of cyber system operations. A dynamic defense optimization problem is formulated with multiple protective postures against different types of adversaries with varying levels of skill and persistence. A custom simulation environment was developed and experiments were devised to systematically evaluate the performance of four model-free DRL algorithms against realistic, multi-stage attack sequences. Our results suggest the efficacy of DRL algorithms for proactive cyber defense under multi-stage attack profiles and system uncertainties.

研究の動機と目的

• サイバーシステム状態と攻撃者-防御者のダイナミクスにおける不確実性を特徴づける。
• 進化する敵対者に適応するデータ駆動型DRL防御フレームワークを開発する。
• マルチステージの攻撃経路とリソース制約の下で防御最適化問題を定式化する。
• 複数のDRLアルゴリズムを評価して、能動的サイバー防御の有効な戦略を特定する。

提案手法

• 攻撃位置を表す状態を用いたサイバー防御の逐次決定プロセスを定式化する。
• カスタム OpenAI Gym 環境で4つのモデルフリーDRLアルゴリズム：DQN、A2C、A3C、PPOを実装・比較する。
• マルチステージの MITRE ATT&CK ベースの攻撃経路と異なるスキル/持続性を持つ敵対者をモデル化する。
• 非活性、受動的、能動的防御を含む防御アクションを定義し、21アクションの能動的集合を設定する。
• 攻撃の進行リスク、防御の影響、アクションコストを組み込んだ調整報酬関数を用いる。
• 7つの戦術と15の技術で訓練/テストを実施し、80/20 の訓練/テスト分割と3つの敵対者プロファイルを採用する。

Figure 1: Multi-stage attack propagation represented with MITRE ATT&CK Tactics and Techniques. (Note: A directed edge between an attack tactic and technique specifies that the attacker may try to implement that technique next after achieving the objective of the attack tactic. Bidirectional arrow re

実験結果

リサーチクエスチョン

• RQ1 不完全な観測下で、モデルフリーDRLエージェントはマルチステージの敵対者に対する効果的な能動的防御ポリシーを学習できるか。
• RQ2 異なるDRLアルゴリズムが、さまざまな攻撃者のスキルと持続性に対して、防御勝率と封じ込みの速度の観点でどのように性能を示すか。
• RQ3 高影響段階への進行を防ぐうえで、非活性/受動/能動の防御タイプが及ぼす影響は何か。
• RQ4 観測の不正確さがポリシー学習と防御有効性にどう影響するか。

主な発見

• DQNは、プロファイル全体で攻撃を止める強い性能と高い防御勝率を示すことが多い。
• A2Cの性能はハイパーパラメータと攻撃の高度化に敏感で、最適設定は収束挙動が異なる。
• PPOとA3Cは競争力のある結果を提供するが、すべてのプロファイルで一貫して優れるわけではなく、環境ダイナミクスへのアルゴリズム感度を浮き彫りにする。
• テストシナリオ全体で、敵対者がより高度になるにつれて防御勝率が低下し、動的な不確実性の課題を示している。
• モデルフリーDRLは、多様なスキル/持続性を持つマルチステージ攻撃プロファイル下で訓練でき、有利な防御結果を生み出す。
• 本研究は、説明可能性、敵対的ノイズへの脆弱性、巨大な状態-行動空間での収束といった実務的な課題を浮き彫りにしている。

Figure 2: Autonomus cyber defense framework.