[論文レビュー] Deep Reinforcement Learning for Autonomous Cyber Defence: A Survey

Gregory M. Palmer, Chris Parry+2 more|arXiv (Cornell University)|Oct 11, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

本サーベイは、高次元の状態空間、大きな行動空間、および敵対的悪用可能性を扱う自律サイバー運用（ACO）における深層強化学習（DRL）の包括的なフレームワークを提案する。既存のDRLベンチマークの評価、状態抽象化および探索技術のレビュー、敵対的環境下でのエージェント脆弱性低減手法の批判的分析を通じて、スケーラブルで安全なACOシステムの基盤を提供する。

ABSTRACT

The rapid increase in the number of cyber-attacks in recent years raises the need for principled methods for defending networks against malicious actors. Deep reinforcement learning (DRL) has emerged as a promising approach for mitigating these attacks. However, while DRL has shown much potential for cyber defence, numerous challenges must be overcome before DRL can be applied to the autonomous cyber defence (ACD) problem at scale. Principled methods are required for environments that confront learners with very high-dimensional state spaces, large multi-discrete action spaces, and adversarial learning. Recent works have reported success in solving these problems individually. There have also been impressive engineering efforts towards solving all three for real-time strategy games. However, applying DRL to the full ACD problem remains an open challenge. Here, we survey the relevant DRL literature and conceptualize an idealised ACD-DRL agent. We provide: i.) A summary of the domain properties that define the ACD problem; ii.) A comprehensive comparison of current ACD environments used for benchmarking DRL approaches; iii.) An overview of state-of-the-art approaches for scaling DRL to domains that confront learners with the curse of dimensionality, and; iv.) A survey and critique of current methods for limiting the exploitability of agents within adversarial settings from the perspective of ACD. We conclude with open research questions that we hope will motivate future directions for researchers and practitioners working on ACD.

研究の動機と目的

• 自律サイバー運用（ACO）のコアな課題を、敵対的で高次元的かつマルチエージェント強化学習問題として定義すること。
• 既存のDRLベンチマーク環境が、現実世界のACOシナリオをどれだけ適切にモデル化できるかを評価すること。
• 高次元状態空間と行動空間を扱うための最新のDRL技術を特定・分析すること。
• 敵対的サイバー環境下でのDRLエージェントの悪用可能性を低減する手法を批判的に評価すること。
• スケーラブルで、原則的かつ安全なDRLベースのACOシステムを進展させるための未解決の研究課題を提示すること。

提案手法

• 本論文は、サイバー防御に焦点を当てたDRL文献をサーベイし、高次元状態空間を扱うために状態抽象化および内発的探索の手法を同定する。
• アタリ、Procgen、リアルタイムストラテジー・ゲーム（例：StarCraft II）からのベンチマーク環境が、ACO環境の複雑さをどの程度再現しているかを評価する。
• 階層的およびオプションベースのDRLアーキテクチャ（例：FeUSe、H-DQN、Eigenoptions）をレビューし、マルチスケール学習を可能にし、探索の難易度を低下させる。
• 継続的学習と崩壊的忘却の緩和技術（例：因子化ポリシー、リプレイバッファを用いた経験リプレイ）を検討する。
• 敵対的耐性向上のための手法として、内発的インセンティブ、新奇性検出、報酬形状の最適化を分析する。
• ACOの3大課題（次元の高さ、行動空間の大きさ、敵対的悪用可能性）に、既存のDRLソリューションをマッピングし、概念的で理想化されたACO-DRLエージェントを提案する。

実験結果

リサーチクエスチョン

• RQ1 既存のDRLベンチマーク環境は、現実世界の自律サイバー運用（ACO）の複雑さをどの程度正確に反映しているか？
• RQ2 ACOにおける高次元状態空間を効果的に管理するためのDRL技術として、どの手法が最も効果的であり、スケーリングはどの程度可能か？
• RQ3 ACOにおける大規模かつ組み合わせ的行動空間を、DRLを用いて効果的にモデル化・探索するにはどのような手法が有効か？
• RQ4 敵対的サイバー防御シナリオにおけるDRLエージェントの悪用可能性を低減するための手法は何か？
• RQ5 スケーラブルで、原則的かつ安全なDRLベースのACOシステムを構築するにあたり、残された未解決の研究課題は何か？

主な発見

• Procgen や StarCraft II のようなリアルタイムストラテジー・ゲームなどの既存のDRLベンチマークは、行動空間の構造や環境ダイナミクスの違いにより、ACOの有用なが、不完全なアナロジーである。
• VQ-AE やディープバイシミリティーションを含む状態抽象化技術は、タスクに必要な情報を保持しつつ、状態空間の次元を低減する上で有望である。
• 内発的インセンティブおよびエピソード記憶ベースの探索手法（例：HOMER、Savinovepisodic）は、高次元的かつ報酬が疎な環境において学習効率を顕著に向上させる。
• 共有の特徴抽出器とタスク固有のヘッドを備えた因子化ポリシー・アーキテクチャは、進化するサイバー脅威に伴う継続的学習環境で、崩壊的忘却を効果的に緩和する。
• ACOにおけるDRLの敵対的耐性は、依然として未解決の課題であり、現行の手法は部分的な保護を提供するが、ACOの完全な複雑さへのスケーラビリティに欠けている。
• 現在のところ、1つのDRLアプローチではACOの3大課題を同時に解決できていないため、統合的かつ多面的なエージェント設計の必要性が浮き彫りになっている。