[論文レビュー] CybORG: An Autonomous Cyber Operations Research Gym

Callum Baillie, Maxwell Standen+4 more|arXiv (Cornell University)|Feb 25, 2020

Adversarial Robustness in Machine Learning参考文献 22被引用数 23

ひとこと要約

CybORG は、自律的サイバー作戦研究を支援する強化学習対応の gym であり、シミュレーションモードとエミュレーションモードを組み合わせて、動的かつ多様なサイバー環境におけるレッドチームおよびブルーチームエージェントの訓練を可能にする。これにより、DDQN などの深層強化学習エージェントを、9ホストネットワークにおけるフラグキャプチャタスクで訓練可能であり、1000エピソードにわたり一貫した性能を示す。

ABSTRACT

Autonomous Cyber Operations (ACO) involves the consideration of blue team (defender) and red team (attacker) decision-making models in adversarial scenarios. To support the application of machine learning algorithms to solve this problem, and to encourage such practitioners to attend to problems in the ACO setting, a suitable gym (toolkit for experiments) is necessary. We introduce CybORG, a work-in-progress gym for ACO research. Driven by the need to efficiently support reinforcement learning to train adversarial decision-making models through simulation and emulation, our design differs from prior related work. Our early evaluation provides some evidence that CybORG is appropriate for our purpose and may provide a basis for advancing ACO research towards practical applications.

研究の動機と目的

• 強化学習を用いた自律的サイバー作戦（ACO）エージェントの訓練に適したスケーラブルで現実的である環境の不足に対処すること。
• 敵対的で動的かつ高次元のサイバー環境において、レッドチームおよびブルーチームの意思決定モデルを共進化的に支援すること。
• シミュレーションとエミュレーションモードを統合した一貫したツールキットを提供し、効率的な訓練と実世界への適用可能性を実現すること。
• 設定可能な環境ライブラリを通じて多様で変化に富んだシナリオを提供し、過学習の低減を図ること。
• 複数のサイバー作戦タスクにわたる ACO エージェントの評価を可能にするベンチマークフレームワークを確立すること。

提案手法

• CybORG は二重モード環境を提供する：高速な訓練を目的としたシミュレーションと、高精度なリアリズムを求めるエミュレーションで、両者とも同一の API を使用する。
• シミュレーションでは完全に観測可能な隠れ状態を維持するが、エージェントには部分的な情報のみを公開することで、現実世界の観測制約を反映する。
• 行動は事前条件に基づいた確率的成功確率でモデル化され、現実的なサイバー作戦の結果を保証する。
• フレームワークは、攻撃的（レッドチーム）および防御的（ブルーチーム）エージェントの両方をサポートし、シミュレーションとエミュレーションの両方で一貫した行動マッピングを実現する。
• 強化学習エージェントは、標準的な DQN よりも過剰に楽観的な価値推定を抑えることができる、二重深層Qネットワーク（DDQN）を用いて訓練される。
• 実験では、3つのサブネットを有する9ホストの CTF シナリオを用い、レッドエージェントは特権昇格とネットワークピボットを経由してフラグをキャプチャすることを目的としている。

実験結果

リサーチクエスチョン

• RQ1 統一された gym 環境は、自律的サイバー作戦エージェントの訓練に向けたシミュレーションとエミュレーションの両方をサポートできるか？
• RQ2 CybORG のシミュレーションモードで訓練された強化学習エージェントは、実世界のサイバー作戦に一般化して有効に機能するか？
• RQ3 DDQN は、動的で多経路の CTF シナリオにおいて最適なレッドチーム戦略を学習するのにどの程度効果的か？
• RQ4 CybORG のシナリオの多様性は、サイバー作戦エージェントにおける過学習をどの程度軽減するか？
• RQ5 CybORG は、多様なサイバー環境において ACO エージェントの性能を評価・比較するためのベンチマークプラットフォームとして機能できるか？

主な発見

• CybORG は、9ホストの CTF シナリオにおいて DDQN エージェントの訓練に成功し、1000エピソードにわたり一貫したフラグキャプチャを達成した。
• DDQN エージェントは効果的な学習を示し、初期段階ではランダム探索による高い報酬が得られ、その後時間経過とともに安定した性能向上が見られた。
• 1エピソードあたりの平均報酬は、最大値 1.0 に収束し、最適戦略の習得が成功したことを示している。
• シミュレーションモードにより、1回の実行で 1000 エピソード、10 回の独立した実験が可能となり、1 エピソードあたり 1000 ステップ以内で安定した収束が達成された。
• フレームワークは、シミュレーションとエミュレーションの間で一貫した API を維持しており、将来的なミックスドモード訓練や転移学習の実現を可能にする。
• 初期評価では、CybORG が ACO 分野における強化学習に適していることが確認されており、今後はシナリオライブラリの拡充と公開を計画している。