[論文レビュー] Learning Security Strategies through Game Play and Optimal Stopping

Kim Hammar, Rolf Stadler|arXiv (Cornell University)|May 29, 2022

Network Security and Intrusion Detection被引用数 5

ひとこと要約

本論文は、攻撃者と防御者の間の最適停止ゲームとしてインシデント防止を定式化する、画期的な強化学習手法を提案する。ゲーム理論と自己対戦を活用して、しきい値に基づく防御戦略を学習する。T-FPアルゴリズムは、最適停止の構造的性質を活用して設計されており、シミュレーションおよび実際のインフラ構造エミュレーションを用いた検証を通じて、優れた動的防御戦略の学習が可能である。これは、最先端の手法を上回る性能を示す。

ABSTRACT

We study automated intrusion prevention using reinforcement learning. Following a novel approach, we formulate the interaction between an attacker and a defender as an optimal stopping game and let attack and defense strategies evolve through reinforcement learning and self-play. The game-theoretic perspective allows us to find defender strategies that are effective against dynamic attackers. The optimal stopping formulation gives us insight into the structure of optimal strategies, which we show to have threshold properties. To obtain the optimal defender strategies, we introduce T-FP, a fictitious self-play algorithm that learns Nash equilibria through stochastic approximation. We show that T-FP outperforms a state-of-the-art algorithm for our use case. Our overall method for learning and evaluating strategies includes two systems: a simulation system where defender strategies are incrementally learned and an emulation system where statistics are produced that drive simulation runs and where learned strategies are evaluated. We conclude that this approach can produce effective defender strategies for a practical IT infrastructure.

研究の動機と目的

• 攻撃がますます洗練され、動的である現代のサイバー攻撃への対応において、有効で適応的なセキュリティ戦略を自動化するという、増大する課題に対処すること。
• 静的攻撃行動を仮定する従来の研究の制限を克服し、動的で適応的な攻撃者に対して耐性のある強固な防御戦略を学習する手法を開発すること。
• シミュレーションベースの戦略学習と現実世界の評価の間のギャップを埋めるために、実際のインフラ構造の挙動を再現するエミュレーションシステムと統合されたシミュレーションシステムを統合すること。
• 特にしきい値に基づく意思決定ルールとしての構造的洞察を、最適停止理論を用いて防御戦略の最適性に関する理解を深めること。
• これらの構造的性質を活用する効率的な強化学習アルゴリズム（T-FP）を設計・評価し、収束速度の向上と性能の向上を実現すること。

提案手法

• 攻撃者と防御者の相互作用を、各プレイヤーが信念状態に基づいて停止（例：攻撃の実行またはブロッキング）を決定する確率的最適停止ゲームとして定式化する。
• ゲーム理論的分析を適用し、最適防御戦略が信念空間においてしきい値の性質を示すことを証明することで、効率的な学習を可能にする。
• T-FPを導入する。これは、仮想的自己対戦（fictitious self-play）に基づくアルゴリズムであり、確率的近似を用いてナッシュ均衡に収束させ、しきい値構造を活用してサンプル効率を向上させる。
• 二重システムアーキテクチャを採用する：実際のインフラ構造を再現するエミュレーションシステム（リアルなログとメトリクスを生成）と、訓練および戦略の進化に使用するシミュレーションシステム。
• エミュレーションログからの推定分布を用いてシミュレーションモデルをインスタンス化し、データ駆動型のポリシー学習を可能にする。
• 学習された戦略をエミュレーションシステムで検証することで、シミュレーションのみに依存する仮定への過剰適合を回避し、実用的有効性を保証する。

実験結果

リサーチクエスチョン

• RQ1 最適停止ゲーム理論を用いることで、インシデント防止における有効な防御戦略の構造的性質を導出できるか？
• RQ2 自己対戦を用いた強化学習は、動的で適応的な攻撃者に対して耐性のある防御戦略を学習するためにどのように適合できるか？
• RQ3 最適停止戦略におけるしきい値構造を活用する新規アルゴリズム（T-FP）は、同様の状況下で、既存の最先端アルゴリズムを上回る性能を示せるか？
• RQ4 シミュレーションのみの評価と比較して、エミュレートされたインフラ構造で学習済み戦略を評価することで、その実世界への適用可能性に対する信頼性はどの程度向上するか？
• RQ5 しきい値に基づく戦略構造は、学習アルゴリズムの収束速度と性能にどのような影響を及えるか？

主な発見

• 最適停止定式化に基づいて導出された最適防御戦略は、信念空間において明確なしきい値の性質を示し、状態s=0およびs=1の両方において停止集合が区間[β, 1]として定義される。
• これらのしきい値構造を活用するT-FPアルゴリズムは、同じユースケースにおいて最先端のアルゴリズム（NFSP）と比較して、累積報酬と収束速度の両面で優れた性能を達成する。
• エミュレーションでリアルなメトリクスを生成し、シミュレーションでポリシーを訓練する二重システムアーキテクチャは、現実世界に類似した環境で効果的な学習と実用的検証を可能にする。
• 実証的結果から、T-FPで学習された戦略は、ベースライン手法と比較して、エミュレーション環境内での累積報酬が高く、防御効果も優れていることが示された。
• 理論的分析により、価値関数と意思決定ルールが信念状態に関して単調であることが確認され、しきい値ポリシーの存在を裏付け、効率的な計算を可能にした。
• 実インフラ構造エミュレーションを学習パイプラインに統合することで、学習されたセキュリティ戦略の信頼性と実用的妥当性が顕著に向上した。