[論文レビュー] Deep hierarchical reinforcement agents for automated penetration testing

Khuong Tran, Ashlesha Akella+5 more|arXiv (Cornell University)|Sep 14, 2021

Advanced Malware Detection Techniques参考文献 10被引用数 23

ひとこと要約

本稿では、部分的エージェント学習を用いて大規模な離散的行動空間を分解することで、自動ペネトレーションテストにおける大規模な行動空間の問題を解決する、階層的深層強化学習アーキテクチャであるHA-DRLを提案する。階層的エージェント構造と代数的行動分解を適用することで、従来のDQNエージェントに比べてより高速かつ安定した収束を達成し、100台のホストと4,646の行動を含む複雑なネットワークですら、最適な攻撃ポリシーを学習可能である。一方、標準DQNは完全に失敗する。

ABSTRACT

Penetration testing the organised attack of a computer system in order to test existing defences has been used extensively to evaluate network security. This is a time consuming process and requires in-depth knowledge for the establishment of a strategy that resembles a real cyber-attack. This paper presents a novel deep reinforcement learning architecture with hierarchically structured agents called HA-DRL, which employs an algebraic action decomposition strategy to address the large discrete action space of an autonomous penetration testing simulator where the number of actions is exponentially increased with the complexity of the designed cybersecurity network. The proposed architecture is shown to find the optimal attacking policy faster and more stably than a conventional deep Q-learning agent which is commonly used as a method to apply artificial intelligence in automatic penetration testing.

研究の動機と目的

• 自動ペネトレーションテストにおける行動空間の指数的増大という課題に対処すること。
• ネットワークに関する豊富な事前知識が不要な、スケーラブルで安定したDRLアーキテクチャを構築すること。
• スパarsely報酬が与えられる大規模なサイバーセキュリティ環境において、標準DQNエージェントの不安定さと収束不良を克服すること。
• 階層的エージェント分解を用いて、複雑で現実的なペネトレーションテストシナリオにおける効率的な探索とポリシー学習を可能にすること。
• 最小限のドメイン特化された工学的設計で、大規模かつ実世界に類似したネットワーク攻撃シミュレーションへの深層強化学習の適用可能性を実証すること。

提案手法

• 代数的行動分解を用いてグローバル行動空間を小さな管理可能なサブセットに分割する階層的エージェントアーキテクチャ（HA-DRL）を提案する。
• 各行動サブセットに対して個別のDQNエージェントを独立して学習させることで、並列的かつスケーラブルな学習を実現し、計算量のサブ線形的増加を達成する。
• 上位のエージェントがサブエージェントを選択し、下位のエージェントがその指定された行動集合内で行動を実行する、逐次的意思決定プロセスを採用する。
• 各サブエージェントで深層Qネットワーク（DQN）に二重Q学習（DDQN）を適用し、価値関数の近似を改善することで、安定性を向上させ、過剰推定を低減する。
• CybORGシミュレータを用いて、ホスト数や行動空間サイズが異なる多様なネットワーク構成において、アーキテクチャの有効性を検証する。
• t-SNEを用いて学習済み状態表現を可視化し、エージェントが明示的な指導なしに、意味のある構造的パターン（例：サブネット）を発見しているかを分析する。

実験結果

リサーチクエスチョン

• RQ1 階層的DRLアーキテクチャは、自動ペネトレーションテストにおける行動空間の指数的増大を効果的に管理できるか？
• RQ2 大規模なネットワークシナリオにおいて、HA-DRLは標準DQNエージェントと比較して、学習速度、安定性、収束性で優れているか？
• RQ3 行動の階層的分解は、ペネトレーションテストに一般的なスパarsely報酬環境におけるより良いポリシー学習をもたらすか？
• RQ4 エージェントは、トポロジに関する明示的知識が与えられない状況でも、ネットワークの意味のある構造的表現（例：サブネット）を学習できるか？
• RQ5 HA-DRLは、行動空間が著しく拡大した大規模なネットワークへどの程度スケーラブルか？

主な発見

• HA-DRLは、100台のホストと4,646の行動を含むすべてのテストシナリオにおいて、DDQNに比べてより高速かつ安定した収束を達成した。
• 100台ホストのシナリオでは、DDQNが行動空間の探索が不可能なため、意味のあるポリシーを学習できなかったが、HA-DRLは約4,000エピソードで最適ポリシーに収束した。
• 60台および70台ホストのシナリオでは、DDQNは4回の学習ランのうち1回しか成功しなかったが、HA-DRLは一貫して最適性能を達成した。
• t-SNE可視化の結果、50台ホスト構成においては、サブネットに関する明示的知識が与えられていなくても、訓練済みエージェントが状態表現を自然に9つのグループ（9つのプライベートサブネットに対応）にクラスタリングしていることが明らかになった。
• 各サブエージェントは、最適な攻撃経路を達成するために、自身の局所的行動集合から2〜3つの行動のみを活用していた。これは、効果的な行動の絞り込みとポリシー特化が行われていることを示している。
• HA-DRLは、行動空間が49から4,646に拡大した際、エージェント数がたった2〜4人増加するにとどまり、計算量のサブ線形的増加を示し、スケーラビリティを実証した。