[論文レビュー] The Partially Observable Games We Play for Cyber Deception

Mohamadreza Ahmadi, Murat Cubuktepe+4 more|arXiv (Cornell University)|Sep 28, 2018

Network Security and Intrusion Detection参考文献 16被引用数 9

ひとこと要約

本稿では、サイバー防衛における部分的に観測可能な確率的ゲーム（POSG）において、完全観測可能なディフェンダー（かくそく者）と部分的観測可能なアタッカー（侵入者）を想定し、スケーラブルな2段階的手法を提案する。パラメトリックMDPを用いた有限記憶の侵入戦略の合成と、ロバストな混合整数線形計画法（MILP）の解法により、従来の手法よりも大きなネットワークで最適なかくそく戦略を実現可能とし、12層ネットワークモデルにおいて顕著なスケーラビリティを示した。

ABSTRACT

Progressively intricate cyber infiltration mechanisms have made conventional means of defense, such as firewalls and malware detectors, incompetent. These sophisticated infiltration mechanisms can study the defender's behavior, identify security caveats, and modify their actions adaptively. To tackle these security challenges, cyber-infrastructures require active defense techniques that incorporate cyber deception, in which the defender (deceiver) implements a strategy to mislead the infiltrator. To this end, we use a two-player partially observable stochastic game (POSG) framework, wherein the deceiver has full observability over the states of the POSG, and the infiltrator has partial observability. Then, the deception problem is to compute a strategy for the deceiver that minimizes the expected cost of deception against all strategies of the infiltrator. We first show that the underlying problem is a robust mixed-integer linear program, which is intractable to solve in general. Towards a scalable approach, we compute optimal finite-memory strategies for the infiltrator by a reduction to a series of synthesis problems for parametric Markov decision processes. We use these infiltration strategies to find robust strategies for the deceiver using mixed-integer linear programming. We illustrate the performance of our technique on a POSG model for network security. Our experiments demonstrate that the proposed approach handles scenarios considerably larger than those of the state-of-the-art methods.

研究の動機と目的

• 情報非対称性を悪用する高度で適応的なサイバー侵入者に対する効果的なかくそく戦略を設計する課題に対処すること。
• ディフェンサーと侵入者の相互作用を、ディフェンサーが完全な状態観測を持つ一方で侵入者が部分的観測を持つ1対2人一方向POSGとしてモデル化すること。
• すべての可能な侵入戦略に対して期待かくそくコストを最小化する、実行可能でスケーラブルなロバストかくそく戦略の計算手法を開発すること。
• 完全なPOSGを解く困難さを克服するため、侵入者に対する有限記憶戦略に焦点を当て、パラメトリックMDP合成を用いること。

提案手法

• ディフェンサーが完全観測可能で侵入者が部分的観測可能な状況下で、サイバーかくそく問題を1方向部分的観測可能確率的ゲーム（POSG）として定式化すること。
• 凸-凹最適化アプローチを用いて、侵入戦略の合成問題を一連のパラメトリックマルコフ決定過程（pMDP）の合成問題に還元すること。
• 侵入者の期待コストを低く抑える有限記憶侵入戦略を合成し、コンactかつ計算的に取り扱いやすい表現を確保すること。
• 合成された侵入戦略すべてに対して最悪のコストを最小化するディフェンサーの最適戦略を計算するため、ロバストな混合整数線形計画法（MILP）を構築すること。
• GUROBIを用いて得られるMILP問題を効率的に解き、より大きなネットワークモデルへのスケーラビリティを実現すること。
• マルチレイヤーネットワークセキュリティモデルを用いて手法を検証し、常に接触するか、常にブロックするというベースライン戦略と性能を比較すること。

実験結果

リサーチクエスチョン

• RQ1 ディフェンサーが完全な状態観測を持つ一方で侵入者が部分的観測を持つような部分的観測可能確率的ゲーム（POSG）において、ロバストなかくそく戦略を計算可能か？
• RQ2 既存手法の限界を超えて、このようなPOSGに基づくかくそくゲームの解法をどのようにスケーリングできるか？
• RQ3 有限記憶戦略が、かくそく戦略合成のスケーラビリティとパフォーマンスに与える影響は何か？
• RQ4 パラメトリックMDP合成は、ロバストなディフェンサー戦略計算に適した代表的侵入戦略を効果的に生成できるか？
• RQ5 ネットワークサイズや合成された侵入戦略の数が、ディフェンサーの期待コストにどのように影響するか？

主な発見

• 提案手法は12層ネットワークに対し、最適のかくそく戦略を効果的に計算でき、1,000の侵入戦略を考慮した場合の最悪ケース期待コストが261.49にまで低下した。これは、常にブロックする戦略の341.72や常に接触する戦略の304.05よりも顕著に低い。
• 4層ネットワークでは、最適戦略が最悪ケース期待コスト282.22を達成し、両方のベースライン戦略を上回った。
• 本手法は効果的なスケーリングを実現した：4層ネットワークの場合、侵入戦略合成に193.29秒、ディフェンサー戦略計算に216.92秒を要した。
• 最適ディフェンサー戦略は、最初の2層で侵入者と接触し、最後の層でブロックするという戦略的適応性を示した。
• 合成された侵入戦略の数を増やすと、ディフェンサーの最悪ケース期待コストが上昇する傾向にあり、敵対的多様性の下でも戦略のロバスト性が確認された。
• 本手法は、従来の最先端手法よりも大きなネットワークを扱える。12層ネットワークの最適戦略は、同等条件下で4層ネットワークのそれよりも期待損失が低かった。