[論文レビュー] CybORG: A Gym for the Development of Autonomous Cyber Agents

Maxwell Standen, Martin Lucas+4 more|arXiv (Cornell University)|Aug 20, 2021

Reinforcement Learning in Robotics参考文献 18被引用数 9

ひとこと要約

CybORG は、シミュレーションとエミュレーションを組み合わせた強化学習用のギムであり、赤チームおよび青チームのオペレーションを実行する自律型サイバー エージェントの訓練を可能にする。このフレームワークでは、シミュレーテッド環境でエージェントを訓練し、メタスプライットなどのプロフェッショナル ツールを用いたリアルワールドのエミュレーション環境でテストすることで、訓練済みの赤チーム エージェントが 66% の成功率でエミュレーターに移行することを実証した。

ABSTRACT

Autonomous Cyber Operations (ACO) involves the development of blue team (defender) and red team (attacker) decision-making agents in adversarial scenarios. To support the application of machine learning algorithms to solve this problem, and to encourage researchers in this field to attend to problems in the ACO setting, we introduce CybORG, a work-in-progress gym for ACO research. CybORG features a simulation and emulation environment with a common interface to facilitate the rapid training of autonomous agents that can then be tested on real-world systems. Initial testing demonstrates the feasibility of this approach.

研究の動機と目的

• 敵対的かつ動的なサイバー環境において、効果的な自律型サイバー エージェントを訓練する課題に対処すること。
• シミュレーションとリアルワールドの展開の間の「リアリティ ギャップ」を、二重モードのシミュレーション・エミュレーション フレームワークによって埋めること。
• 標準的でスケーラブルかつ拡張可能な環境を提供することで、強化学習研究におけるサイバー オペレーションの支援をすること。
• リアルワールドのエミュレーション結果を用いて、シミュレーション モデルの検証と改善を可能にすること。
• 多様な攻撃および防御シナリオにおいて、自律型サイバー エージェントの訓練と評価を可能にするベンチマーク プラットフォームの構築すること。

提案手法

• CybORG は、クラウドベースのインfraストラクチャを活用して、大規模な強化学習訓練を可能にするシミュレーションとエミュレーションの両モードを統合している。
• エージェントがシミュレーテッド環境とエミュレーテッド環境の両方とインタラクトできる共通インターフェースを提供することで、一貫したポリシーの訓練と移行を可能にしている。
• 環境は、強化学習エージェントのための明確な行動、観測、報酬を備えた、逐次的意思決定プロセスとしてサイバー オペレーションをモデル化している。
• 訓練済みエージェントは、仮想ホスト上でメタスプライット フレームワークを用いてエミュレーション モードで評価され、リアルワールドへの移行性がテストされている。
• シミュレーションの忠実度の欠如は、シミュレーションとエミュレーションの結果の差異によって特定され、モデルの改善に向けた指針が得られている。
• このフレームワークは、赤チーム（攻撃的）および青チーム（防御的）エージェントの両方の訓練をサポートしており、今後はディセプションベースの防御シナリオへの拡張が計画されている。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションベースの強化学習環境は、リアルワールドのエミュレーションに一般化可能な自律型サイバー エージェントを効果的に訓練できるか？
• RQ2 シミュレーションで訓練されたエージェントは、リアルツール（例：メタスプライット）を用いたエミュレーション環境にどの程度成功裏に移行し、実行できるか？
• RQ3 シミュレーションとエミュレーションの結果の差異は、シミュレーション モデルまたはインターフェースの改善にどのように活用できるか？
• RQ4 環境の忠実度は、強化学習で訓練されたサイバー エージェントの収束性と有効性にどのような役割を果たすか？
• RQ5 統合されたギム環境は、一貫した評価指標を用いて、攻撃的および防御的エージェントの両方の訓練をサポートできるか？

主な発見

• 訓練済みの赤チーム エージェントは、210回のエミュレーター実行のうち139回で66％の成功率を達成し、シミュレーションからリアルワールドのエミュレーションへの効果的な移行を示した。
• ほぼ半数の独立して訓練されたエージェントが、すべてのエミュレーター実行で成功しており、訓練ランの間で強力なポリシーの一般化が実現していることが示された。
• 4体のエージェントがすべてのエミュレーター実行で失敗したため、シミュレーション モデルや観測空間の欠陥が原因で、改善が必要であると示唆された。
• 1体のエージェントは「autoroute」アクションを使用しなかったため失敗したが、これはシミュレーションがエミュレーションに存在しない観測アーチファクトを導入していた可能性を示している。
• シミュレーションとエミュレーションの結果の観察された差異は、シミュレーション モデルおよびインターフェースの改善に役立つ具体的なフィードバックを提供した。
• 結果は、シミュレーション・エミュレーション パイプラインを用いて自律型サイバー エージェントの訓練、テスト、改善を実現する可能性を裏付けた。