[論文レビュー] Constraints Satisfiability Driven Reinforcement Learning for Autonomous Cyber Defense

Ashutosh Dutta, Ehab Al‐Shaer+1 more|arXiv (Cornell University)|Apr 19, 2021

Smart Grid Security and Resilience参考文献 9被引用数 4

ひとこと要約

本稿では、自律的サイバーフェンスエージェントの意思決定ループに、論理的整合性検証（Satisfiability Modulo Theories, SMT）を統合することで、リアルタイムでの安全制約およびセキュリティ制約の満たしを保証する、ハイブリッド強化学習アーキテクチャである制約満たし駆動型強化学習（Constrained Satisfiability-driven Reinforcement Learning, CSRL）を提案する。この手法により、最適な防御方策への収束が高速化され、シミュレートされたサイバーフィジカルシステムにおいて、多様な攻撃戦略の99％を撃破する成果を達成した。

ABSTRACT

With the increasing system complexity and attack sophistication, the necessity of autonomous cyber defense becomes vivid for cyber and cyber-physical systems (CPSs). Many existing frameworks in the current state-of-the-art either rely on static models with unrealistic assumptions, or fail to satisfy the system safety and security requirements. In this paper, we present a new hybrid autonomous agent architecture that aims to optimize and verify defense policies of reinforcement learning (RL) by incorporating constraints verification (using satisfiability modulo theory (SMT)) into the agent's decision loop. The incorporation of SMT does not only ensure the satisfiability of safety and security requirements, but also provides constant feedback to steer the RL decision-making toward safe and effective actions. This approach is critically needed for CPSs that exhibit high risk due to safety or security violations. Our evaluation of the presented approach in a simulated CPS environment shows that the agent learns the optimal policy fast and defeats diversified attack strategies in 99\% cases.

研究の動機と目的

• 複雑なサイバーフィジカルシステム（CPS）におけるリアルタイムで制約を考慮した自律的サイバーフェンスの欠如に対処すること。
• 既存の強化学習および制約満たしフレームワークにおける静的モデルや現実的でない仮定の制限を克服すること。
• 政策学習中に安全およびセキュリティ制約を動的に検証できるハイブリッドエージェントアーキテクチャの開発。
• 進化する攻撃戦略および不確実な環境下でも、証明可能に正しいままリアルタイムで適応的防御計画を実行できること。
• 制約満たしの可視化に基づくSMT駆動フィードバックにより、RLベースの防御エージェントの収束性および有効性を向上させること。

提案手法

• 環境の確率的ダイナミクスおよびミッション指向の制約を有する順序的意思決定プロセス（SDP）として防御問題を定式化する。
• シミュレートされた環境との相互作用を通じて、強化学習（PPO2 with MlpPolicy）を用いて防御方策を最適化する。
• 実行前整合性（Pre-sat）モジュールを導入し、SMTソルバーを用いて候補となる防御行動がすべての安全およびセキュリティ制約を満たすかを事前に検証する。
• 政策最適化と制約検証を分離し、直接的な制約強制ではなく、整合性フィードバックに基づいて政策を更新する。
• 環境からのフィードバックを用いて、暗黙的または不完全な要件を推定し、動的または不確実なドメインにおける耐性を高める。
• OpenAI GymおよびStable Baselinesを用いてPythonでフレームワークを実装し、評価のための2つのネットワークトポロジー（100および200デバイス）を採用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習に形式的検証を統合することで、自律的サイバーフェンスにおける安全およびセキュリティ制約をどのように確保できるか？
• RQ2 SMTベースの制約検証は、動的環境におけるRLベースの防御エージェントの収束性および性能をどの程度向上させるか？
• RQ3 環境からのフィードバックから欠落または曖昧な要件を動的に推論することで、事前の知識なしに効果的な防御方策を学習できるか？
• RQ4 Pre-sat検証の統合は、特にスパイクや攻撃的戦略を含む多様な攻撃戦略に対するエージェントの対処能力にどのように影響するか？
• RQ5 大規模なCPS環境における、提案されたハイブリッドアーキテクチャのスケーラビリティおよびリアルタイム実行可能性はいかがなものか？

主な発見

• 100デバイスおよび200デバイスのトポロジーの両方において、スパイク、攻撃的、および単純な攻撃者を含む多様な攻撃戦略に対して、エージェントは99％の成功率を達成した。
• 200デバイストポロジーでは、エージェントが50エピソード以内に最適な防御計画に収束し、スパイク攻撃者に対しては87％以上の報酬を達成した。
• 攻撃的攻撃者に対しては、75％のケースで25〜27の時間ステップ以内に攻撃の拡散を遮断し、迅速な反応を示した。
• Pre-satモジュールにより、スパイク攻撃者に対して報酬性能が最大70％向上し、政策最適化における顕著な利点が示された。
• 最も挑戦的な状況下でも、攻撃者が攻撃の目的状態に到達する確率を1％未満にまで低下させることに成功した。
• フレームワークはスケーラビリティおよびリアルタイム実行可能性を示し、より大きなトポロジーでは満たせる計画の機会が増加することで、より速い収束を達成した。