[論文レビュー] On Autonomous Agents in a Cyber Defence Environment

Mitchell Kiely, David Bowman+2 more|arXiv (Cornell University)|Sep 14, 2023

Information and Cyber SecurityComputer Science被引用数 3

ひとこと要約

本論文は、CAGE Challenge 2というマルチエージェント敵対的環境（ポストエクスプロイテーションにおける横向き移動をシミュレート）を用いて、自律的サイバー防御のためのディープ強化学習（DRL）および非DRLアプローチを評価している。階層的DRLアプローチは、攻撃者であるレッドエージェントの行動に応じて、特化的かつ適応的な防御戦略を学習することで、他の手法を上回った。これは、DRLが実世界の自律的サイバー防御システムにおける強力な潜在能力を示している。

ABSTRACT

Autonomous Cyber Defence is required to respond to high-tempo cyber-attacks. To facilitate the research in this challenging area, we explore the utility of the autonomous cyber operation environments presented as part of the Cyber Autonomy Gym for Experimentation (CAGE) Challenges, with a specific focus on CAGE Challenge 2. CAGE Challenge 2 required a defensive Blue agent to defend a network from an attacking Red agent. We provide a detailed description of the this challenge and describe the approaches taken by challenge participants. From the submitted agents, we identify four classes of algorithms, namely, Single- Agent Deep Reinforcement Learning (DRL), Hierarchical DRL, Ensembles, and Non-DRL approaches. Of these classes, we found that the hierarchical DRL approach was the most capable of learning an effective cyber defensive strategy. Our analysis of the agent policies identified that different algorithms within the same class produced diverse strategies and that the strategy used by the defensive Blue agent varied depending on the strategy used by the offensive Red agent. We conclude that DRL algorithms are a suitable candidate for autonomous cyber defence applications.

研究の動機と目的

• 標準化された環境を用いて、異なるAIアルゴリズムクラスが自律的サイバー防御においてどの程度効果的であるかを評価すること。
• 単一エージェントDRL、階層的DRL、アンサンブル、非DRLのうち、どのアプローチが敵対的サイバー環境において効果的な防御戦略を学習できるかを特定すること。
• レッドエージェントの攻撃戦略およびエピソード長に応じて、エージェントのポリシーがどのように変化するかを分析すること。
• サイバー防御応用におけるアルゴリズムの強みと弱みを体系的に分類・比較するための分類法を提供すること。

提案手法

• 本研究では、オープンソースの Cyber Autonomy Gym for Experimentation (CAGE) Challenges を使用し、特に小規模企業ネットワークにおけるポストエクスプロイテーション段階の横向き移動シナリオを想定した CAGE Challenge 2 を採用した。
• エージェントは、レッドエージェントが横向き移動を実行するマルチエージェント環境で訓練および評価された。
• エージェントの提出物は4つのアルゴリズムクラスに分類された：単一エージェントDRL、階層的DRL、アンサンブル、非DRLアプローチ。
• 行動選択頻度、戦略の多様性、および異なるレッドエージェントタイプやエピソード長に応じた反応の変化を通じて、ポリシー行動を分析した。
• エージェント行動とパフォーマンスのクラス内およびクラス間比較を可能にする分類法を開発した。
• 統計的および定性的な分析を通じて、エージェントポリシーの適応性、戦略の多様性、および異なる攻撃戦術に対するロバストネスを評価した。

実験結果

リサーチクエスチョン

• RQ1 単一エージェントDRL、階層的DRL、アンサンブル、非DRLのうち、どのアルゴリズムクラスがサイバー防御環境において、強固な防御戦略を学習する能力が最も高いか？
• RQ2 レッドエージェントが採用する異なる攻撃戦略に応じて、ブルーエージェントの防御戦略はどのように変化するか？
• RQ3 同じクラスに属する異なるアルゴリズム（例：HPPOベースのエージェント）は、同じアーキテクチャを有しながらも、行動選択パターンの重複が最小限に抑えられて、異なる防御ポリシーを学習するか？
• RQ4 エピソード長は、訓練済みエージェントの行動選択および戦略的行動にどのように影響するか？
• RQ5 自律的サイバー防御の文脈において、各アルゴリズムクラスの主な強みと制限は何か？

主な発見

• 階層的DRLアプローチが、多様な攻撃シナリオにわたり、効果的で適応的な防御戦略を学習・実装する能力が最も優れていた。
• 同じクラスに属する異なるアルゴリズム（例：HPPOベースのエージェント）は、類似したアーキテクチャを有しながらも、行動選択パターンの重複が最小限に抑えられ、異なる防御戦略を生成した。
• ブルーエージェントの防御戦略は、レッドエージェントの行動に大きく依存していた。例えば、B-Lineのような持続的攻撃者に対しては特定のデコイに集中し、Meanderのような動的攻撃者に対しては広範なデコイ展開とリカバリ戦略を採用した。
• エピソード長は戦略に影響を与えた：短いエピソードではデコイの使用が増加し、長いエピソードでは検知と除去行動への依存度が高まった。
• 単一エージェントDRLアプローチは一般化能力に欠け、特定の攻撃者に対しては良好に機能したが、複数の攻撃者を同時に学習した場合には全体的に性能が著しく低下した。
• アンサンブルアプローチは広範な防御カバレッジを提供したが、複数のエージェントと行動選択ロジックの導入により、高い計算コストと推論時間コストを伴った。