[論文レビュー] Defense Against Advanced Persistent Threats in Dynamic Cloud Storage: A Colonel Blotto Game Approach

Minghui Min, Liang Xiao+3 more|arXiv (Cornell University)|Jan 19, 2018

Cloud Data Security Solutions参考文献 3被引用数 4

ひとこと要約

本稿では、動的クラウドストレージシステムにおけるAdvanced Persistent Threats（APTs）に対する防御を目的として、コロンエル・ブロットゲームに基づくCPU割り当てフレームワークを提案する。限られたCPUリソースを複数のストレージデバイス間で防御者と攻撃者で戦略的に割り当てることをモデル化し、学習速度を向上させるとともに、適応的APTsに対する耐性を高めるために、ホットブートドDQN（Deep Q-Network）に基づく強化学習手法を導入した。動的環境下で、Q学習に比べて最高で97.87%高いデータ保護効果と96.97%高い効用を達成した。

ABSTRACT

Advanced Persistent Threat (APT) attackers apply multiple sophisticated methods to continuously and stealthily steal information from the targeted cloud storage systems and can even induce the storage system to apply a specific defense strategy and attack it accordingly. In this paper, the interactions between an APT attacker and a defender allocating their Central Processing Units (CPUs) over multiple storage devices in a cloud storage system are formulated as a Colonel Blotto game. The Nash equilibria (NEs) of the CPU allocation game are derived for both symmetric and asymmetric CPUs between the APT attacker and the defender to evaluate how the limited CPU resources, the date storage size and the number of storage devices impact the expected data protection level and the utility of the cloud storage system. A CPU allocation scheme based on "hotbooting" policy hill-climbing (PHC) that exploits the experiences in similar scenarios to initialize the quality values to accelerate the learning speed is proposed for the defender to achieve the optimal APT defense performance in the dynamic game without being aware of the APT attack model and the data storage model. A hotbooting deep Q-network (DQN)-based CPU allocation scheme further improves the APT detection performance for the case with a large number of CPUs and storage devices. Simulation results show that our proposed reinforcement learning based CPU allocation can improve both the data protection level and the utility of the cloud storage system compared with the Q-learning based CPU allocation against APTs.

研究の動機と目的

• 限られたCPUリソースと変化するデータ分布を有する動的クラウドストレージシステムに対するAPTsの防御という課題に対処する。
• APTs攻撃者と防御者の戦略的相互作用を、混合戦略を用いたコロンエル・ブロットゲームとしてモデル化し、ナッシュ均衡を導出する。
• APTs攻撃モデルやデータストレージモデルの事前知識が不要な、強化学習に基づくCPU割り当て戦略を開発する。
• 防御行動の観測に基づいて戦略を変化させる知能的なAPTsに対しても、学習速度と耐性を向上させる。
• 時間変動するデータサイズと攻撃方針を伴う動的環境下で、データ保護水準と防御者の効用を向上させる。

提案手法

• 防御者とAPTs攻撃者間のCPU割り当てゲームを、複数の戦場（ストレージデバイス）と限られた総合CPUリソースを持つ2人ゼロサムコロンエル・ブロットゲームとして定式化する。
• 対称的および非対称的CPU状況におけるナッシュ均衡の存在条件を導出し、システムパラメータがデータ保護と効用に与える影響を分析する。
• 類似シナリオからの事前経験を用いてQ値を初期化することで収束を加速する、ホットブートドポリシー勾配上昇（PHC）CPU割り当て方式を提案する。
• 多数のCPUとストレージデバイスを有する大規模システムに対応するため、ホットブートド深層Qネットワーク（DQN）を導入し、学習速度と耐性を向上させる。
• 時間共有を用いて複数デバイスにわたる連続的CPU割り当てをモデル化し、離散的コロンエル・ブロットゲームの現実的近似を可能にする。
• 時間とともに変化するデータサイズと攻撃方針を伴う動的ゲーム設定において強化学習を適用し、攻撃モデルやデータモデルの事前知識がなくても防御者が適応可能となるようにする。

実験結果

リサーチクエスチョン

• RQ1 ストレージデバイスの数、1デバイスあたりのデータサイズ、合計CPUリソースの変動が、コロンエル・ブロットに基づくAPT防御ゲームにおけるデータ保護水準と防御者の効用にどのように影響するか？
• RQ2 攻撃者と防御者の間でCPUの可用性が非対称である場合、均衡戦略とシステムパフォーマンスにどのような影響を与えるか？
• RQ3 APTs攻撃モデルやデータストレージモデルの事前知識がなくても、防御者が動的クラウドストレージシステムで最適なCPU割り当てを達成する方法は何か？
• RQ4 ホットブートドDQNに基づくCPU割り当て戦略は、Q学習やPHCに比べて、学習速度と適応的APTsに対する耐性をどの程度向上させるか？
• RQ5 時間変動するデータと攻撃条件のもとで、ストレージデバイス数やCPU数の増加に伴い、提案手法のパフォーマンスはどのようにスケーリングするか？

主な発見

• 3つのストレージデバイスと16の防御CPUを有するシステムにおいて、時間スロット1000でホットブートドDQNベースのCPU割り当て方式は、PHCベース方式に比べ30.98%高いデータ保護水準を達成し、Q学習に比べて97.87%高い水準に到達した。
• 同じ条件下で、ホットブートドDQN方式における防御者の効用は、PHCに比べ30.69%高く、Q学習に比べて96.97%高い水準に到達した。
• 防御CPUを12から16に増加させたことで、ホットブートドDQNアプローチを用いることで、データ保護水準が14.20%向上し、効用が14.03%向上した。
• 4つのストレージデバイスと16の防御CPUを有する環境では、ホットブートドDQNベースの方式がQ学習に比べ、データ保護を22.29%、効用を22.4%向上させた。
• 6つのストレージデバイスを有する環境でも、ホットブートドDQN方式は強力なパフォーマンスを維持し、4つの攻撃CPUに対して21の防御CPUで最大80.05%のデータ保護を達成した。
• ストレージデバイス数の増加に伴い、ホットブートドDQN方式はPHC方式に対する性能向上が顕著に増大しており、複雑で動的な環境におけるスケーラビリティと耐性を示している。