[論文レビュー] Deep Reinforcement Learning based Adaptive Moving Target Defense.

Taha Eghtesad, Yevgeniy Vorobeychik+1 more|arXiv (Cornell University)|Nov 27, 2019

Network Security and Intrusion Detection参考文献 7被引用数 9

ひとこと要約

本稿では、部分的に観測可能なマルコフ意思決定過程（POMDP）としてMTDを定式化することで、深層強化学習（DRL）に基づく適応的移動対象防御（MTD）戦略を最適化する手法を提案する。コンactなメモリ表現を導入することで、訓練効率が著しく向上し、敵の成功確率を低減する点で従来の戦略を上回る優れた性能を示す。

ABSTRACT

Moving target defense (MTD) is a proactive defense approach that aims to thwart attacks by continuously changing the attack surface of a system (e.g., changing host or network configurations), thereby increasing the adversary's uncertainty and attack cost. To maximize the impact of MTD, a defender must strategically choose when and what changes to make, taking into account both the characteristics of its system as well as the adversary's observed activities. Finding an optimal strategy for MTD presents a significant challenge, especially when facing a resourceful and determined adversary who may respond to the defender's actions. In this paper, we propose finding optimal MTD strategies using deep reinforcement learning. Based on an established model of adaptive MTD, we formulate finding an MTD strategy as finding a policy for a partially-observable Markov decision process. To significantly improve training performance, we introduce compact memory representations. To demonstrate our approach, we provide thorough numerical results, showing significant improvement over existing strategies.

研究の動機と目的

• 不確実性と敵の適応的行動の下で、最適なMTD行動を動的に選択する課題に対処すること。
• 不完全な情報下での意思決定を改善するため、MTD戦略選択を部分的に観測可能なマルコフ意思決定過程（POMDP）としてモデル化すること。
• 本質的な状態情報を保持するコンactなメモリ表現を用いて、MTDポリシーの訓練効率を向上させること。
• 実際の敵対的シナリオにおいて、提案されたDRLベースの戦略を従来のMTDアプローチと比較して評価すること。
• 包括的な数値的評価を通じて、防御効果の顕著な向上を実証すること。

提案手法

• 著者らは、敵の行動とシステム状態の不確実性を捉えるために、MTD戦略選択問題を部分的に観測可能なマルコフ意思決定過程（POMDP）としてモデル化する。
• エージェントが観測からエンドツーエンドで学習できるように、深層Qネットワーク（DQN）を用いて最適ポリシーを学習する。
• 履歴観測を効率的に要約するコンactなメモリ表現を導入し、状態空間の次元を低減して訓練を高速化する。
• DRLエージェントは、進化する敵の行動に適応しながら、探索と活用のバランスを学習する。
• 環境モデルにシステム制約と敵の反応ダイナミクスを組み込むことで、それらを考慮した学習を実現する。
• シミュレートされた敵対的相互作用を用いて訓練を行い、防御効果を反映する累積報酬に基づいてポリシー最適化をガイドする。

実験結果

リサーチクエスチョン

• RQ1 部分的観測下で、深層強化学習を効果的に適用して適応的MTD戦略を学習する方法は何か？
• RQ2 コンactなメモリ表現は、DRLベースのMTDポリシーの訓練効率と性能にどのような影響を与えるか？
• RQ3 提案されたDRLベースのMTD戦略は、従来の静的またはヒューリスティックなMTD戦略と比較して、敵の成功確率をどの程度低減できるか？
• RQ4 動的な脅威環境において、DRLエージェントは進化する敵の行動にどの程度適応できるか？
• RQ5 提案手法は、現実的なシステム構成にスケーリング可能であり、強力な防御性能を維持できるか？

主な発見

• 提案されたDRLベースのMTD戦略は、従来のヒューリスティックおよび静的MTD戦略と比較して、敵の成功確率を顕著に低減する。
• コンactなメモリ表現は、ポリシー学習中の収束速度の向上と訓練安定性の向上に寄与する。
• 本手法は敵対的行動に効果的に適応し、適応的攻撃者行動下でも高い防御効果を維持する。
• 数値的結果から、複数のシミュレートされた攻撃シナリオにおいて一貫した性能向上が確認された。
• 効率的な状態表現とポリシー学習のおかげで、複雑なシステム構成に対しても良好にスケーリング可能である。
• DRLエージェントは、構成変更のタイミングを戦略的に制御することで、システムの可用性とセキュリティの両立を学習する。