[論文レビュー] Beyond CAGE: Investigating Generalization of Learned Autonomous Network Defense Policies

M. Wolk, Andy Applebaum+9 more|arXiv (Cornell University)|Nov 28, 2022

Network Security and Intrusion Detection被引用数 5

ひとこと要約

この論文は、CAGEチャレンジにおける自律的ネットワーク防御を目的とした、Proximal Policy Optimization (PPO) をベースにした強化学習（RL）手法——階層的RL、アクションマスキング、カスタムトレーニング、アンサンブルRL——を評価している。アンサンブルRLアプローチが他の手法を上回り、コンテストで2位を獲得したが、すべての手法が未学習のネットワークや未知の攻撃戦略に対して顕著な性能低下を示し、実運用における汎化性と耐性の課題が浮き彫りになった。

ABSTRACT

Advancements in reinforcement learning (RL) have inspired new directions in intelligent automation of network defense. However, many of these advancements have either outpaced their application to network security or have not considered the challenges associated with implementing them in the real-world. To understand these problems, this work evaluates several RL approaches implemented in the second edition of the CAGE Challenge, a public competition to build an autonomous network defender agent in a high-fidelity network simulator. Our approaches all build on the Proximal Policy Optimization (PPO) family of algorithms, and include hierarchical RL, action masking, custom training, and ensemble RL. We find that the ensemble RL technique performs strongest, outperforming our other models and taking second place in the competition. To understand applicability to real environments we evaluate each method's ability to generalize to unseen networks and against an unknown attack strategy. In unseen environments, all of our approaches perform worse, with degradation varied based on the type of environmental change. Against an unknown attacker strategy, we found that our models had reduced overall performance even though the new strategy was less efficient than the ones our models trained on. Together, these results highlight promising research directions for autonomous network defense in the real world.

研究の動機と目的

• さまざまなPPOベースの強化学習（RL）手法が自律的ネットワーク防御においてどれほど効果的で、一般化能力があるかを評価すること。
• これらのRLベースの防御者が、未学習のネットワーク環境や、事前に学習したことがない攻撃戦略に対してどれほど効果的に機能するかを評価すること。
• 実際の企業環境におけるRLベースのネットワーク防御エージェントを導入する際の実用的課題を同定すること。
• 階層的RL、アクションマスキング、アンサンブル学習などの異なるアーキテクチャおよびトレーニング技術を、耐性とパフォーマンスの観点から比較すること。

提案手法

• 研究では、階層的意思決定、無効な行動を制限するためのアクションマスキング、カスタムトレーニングスケジュールを含む修正を施したProximal Policy Optimization（PPO）を、核心となるRLアルゴリズムとして採用している。
• 最終的な行動選択を多数決による投票によって行うことで、耐性とパフォーマンスを向上させる、PPOベースのポリシーのアンサンブルを訓練している。
• これらの手法は、CAGEチャレンジのシナリオ2を用いて、実際の企業ネットワークのダイナミクスを模擬する高精度なネットワークシミュレーション環境CybORGで評価されている。
• 一般化性能は、トレーニング時に確認されていなかった新しいホスト設定や追加の攻撃パスを有する変更されたネットワークトポロジでモデルを評価することでテストされている。
• 未知の攻撃戦略に対する耐性は、トレーニング時に見られなかったが、効率は低い攻撃者ポリシーを導入することで評価されており、現実世界の攻撃の予測不可能性を模擬している。
• パフォーマンスは、CAGEチャレンジの標準指標である防御者スコア、攻撃成功確率、ネットワーク侵害検出率を用いて測定されている。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル、階層的、マスク付きなどの異なるPPOベースのRLアーキテクチャは、CAGEチャレンジベンチマーク上でどのようにパフォーマンスを比較するか？
• RQ2 これらのRLベースの防御者が、ホスト設定が変更された未学習のネットワークトポロジや、新たな攻撃パスを有する環境にどれほど一般化できるか？
• RQ3 訓練時とは異なるが、効率は低いが予測が難しい攻撃戦略に対して防御性能がどの程度低下するか？
• RQ4 環境の変化や新たな敵対的行動にさらされた際、RLベースの防御者の主な失敗モードは何か？

主な発見

• 多数決による投票で複数のPPOポリシーを統合するアンサンブルRLアプローチが、最高のパフォーマンスを発揮し、CAGEチャレンジで2位を獲得した。
• すべてのモデル、特に上位のアンサンブルモデルで、未学習のネットワーク環境でのテスト時に顕著なパフォーマンス低下が観察された。ホスト設定の変更が最も大きな影響を与えた。
• 未知の攻撃戦略に対して防御性能が低下したが、これは攻撃の予測不可能性と、トレーニング時に確認されていなかった新たな攻撃パスが原因であった。
• アンサンブルモデルでは、ネットワークトポロジの構造的変更に対して特にパフォーマンス低下が顕著で、アンサンブル手法がトポロジ変更に対してより感受性が高い可能性を示唆している。
• 時間制約はモデルのパフォーマンスに顕著な影響を及ぼさず、推論遅延がこの設定では制限要因ではなかった。
• 未学習の環境への一般化は依然として大きな課題であり、最先端のRL手法でさえホスト数、ネットワークレイアウト、攻撃表面の変化に対して脆弱である。