[論文レビュー] Network Environment Design for Autonomous Cyberdefense

Andrés Molina–Markham, Cory Miniter+2 more|arXiv (Cornell University)|Mar 13, 2021

Advanced Malware Detection Techniques参考文献 24被引用数 24

ひとこと要約

本稿では、強化学習（RL）エージェントによる自律的サイバー防御のための、適応的ネットワーク環境を設計するための新規フレームワークFARLANDを紹介する。FARLANDは、中毒化攻撃や回避攻撃を含む、複雑で進化する脅威のシミュレーションおよびエミュレーションを可能にし、ネットワーク再構成のためのスケーラブルで頑健なRL訓練を支援する。エージェントが洗練された敵対的操作のもとでも効果的な防御を学習できることを示している。

ABSTRACT

Reinforcement learning (RL) has been demonstrated suitable to develop agents that play complex games with human-level performance. However, it is not understood how to effectively use RL to perform cybersecurity tasks. To develop such understanding, it is necessary to develop RL agents using simulation and emulation systems allowing researchers to model a broad class of realistic threats and network conditions. Demonstrating that a specific RL algorithm can be effective for defending a network under certain conditions may not necessarily give insight about the performance of the algorithm when the threats, network conditions, and security goals change. This paper introduces a novel approach for network environment design and a software framework to address the fundamental problem that network defense cannot be defined as a single game with a simple set of fixed rules. We show how our approach is necessary to facilitate the development of RL network defenders that are robust against attacks aimed at the agent's learning. Our framework enables the development and simulation of adversaries with sophisticated behavior that includes poisoning and evasion attacks on RL network defenders.

研究の動機と目的

• RLエージェントのネットワーク防御におけるスケーラブルで現実的なシミュレーションフレームワークの不足に対処する。
• 動的かつ敵対的な条件下でネットワーク再構成を学習できるRLエージェントの開発を可能にする。
• 観測値の中毒化や回避攻撃などの標的攻撃に対するRLベースの防御者を評価することを支援する。
• 段階的な脅威およびネットワーク複雑性の増加を可能にする、柔軟で合成可能な環境設計フレームワークを提供する。
• シミュレーション（高速）とエミュレーション（忠実度）の間のギャップを埋め、ポリシー学習の加速を図りながらも現実性を維持する。

提案手法

• 生成プログラムを用いて、ネットワークトポロジー、グレー（通常ユーザー）エージェントおよびレッド（攻撃者）エージェントの行動を確率的かつ部分的に観測可能なダイナミクスでモデル化する。
• RLLibを用いてRLアルゴリズムのトレーニングと環境シミュレーションを分離し、GPUリソースを活用した分散・スケーラブルなトレーニングを実現する。
• 二層構造を実装：高速なシミュレーションによる高スルーレートのトレーニングと、検証およびパrameterキャリブレーションのための高精度なエミュレーション。
• ネットワーク複雑性、脅威行動、セキュリティポリシーのチューナブルパラメータを公開し、カリキュラム学習および自動ドメインランダマイゼーションを可能にする。
• ブルーエージェントの行動、観測、報酬関数を指定可能にすることで、現実的なセキュリティ目標指向のポリシー学習を支援する。
• ネットワークインヴァリアント（例：領域分離、処理順序）を保証するため、環境設計にトレイバーサルポリシー制約を統合する。

実験結果

リサーチクエスチョン

• RQ1 RLベースのサイバー防御者におけるカリキュラム学習を支援するため、ネットワーク環境をどのように段階的に複雑化して設計できるか？
• RQ2 観測値の中毒化や回避攻撃を含む敵対的条件下でトレーニングされたRLエージェントは、どれほど効果的なネットワーク再構成ポリシーを学習できるか？
• RQ3 異なるネットワークサイズおよび脅威構成において、RLベースの防御者の性能はどのように変化するか？また、トレーニングおよび評価の計算コストはどの程度か？
• RQ4 シミュレーションとエミュレーションを効果的に統合することで、RLベースのサイバー防御におけるトレーニング速度とポリシー検証の忠実度のバランスを取れるか？
• RQ5 パケットの通過順序やセグメンテーションといった、重要なネットワークインヴァリアントを保証するためには、どのようなメカニズムが必要か？

主な発見

• FARLANDは、段階的に複雑化するタスクの系列としてネットワーク防御をシミュレートでき、エージェントがアポイントからスーパーヒューマンレベルのパフォーマンスまで発展させることを可能にする。
• 本フレームワークは、観測値の中毒化や回避攻撃を含む現実的な攻撃を実行する敵を構築可能であり、100%のテストケースで受動的ブルーエージェントを欺くことに成功している。
• シミュレーションでのトレーニングにより、経験の再利用が急速に可能となり、エピソードは数分以内で完了する。一方、100ノードネットワークのエミュレーションは1コアで2時間以上かかる。
• 二層構造（シミュレーション／エミュレーション）により、シミュレーションでの効率的ポリシー学習とエミュレーションでの検証が可能となり、10ノードネットワークでは平均10分、100ノードネットワークでは2時間以上を要する。
• 実験では、能動的防御がなければ、レッドエージェントがほぼすべてのエピソードで機密データ（例：「クラウンジュエル」）を漏洩させることを示しており、強力なRLベースの防御者の必要性を浮き彫りにしている。
• FARLANDの設計は、確率的モデルによるパラメータ化された環境複雑性の自動スケーリングを可能とし、カリキュラム学習のための自動ドメインランダマイゼーションを実現する。