[论文解读] Defense Against Advanced Persistent Threats in Dynamic Cloud Storage: A Colonel Blotto Game Approach

Minghui Min, Liang Xiao+3 more|arXiv (Cornell University)|Jan 19, 2018

Cloud Data Security Solutions参考文献 3被引用 4

一句话总结

本文提出了一种基于科莱曼·布洛托博弈（Colonel Blotto game）的CPU分配框架，用于防御动态云存储系统中的高级持续性威胁（Advanced Persistent Threats, APTs）。通过在多个存储设备上对防御者与攻击者之间的有限CPU资源进行战略分配建模，提出了一种基于热启动深度Q网络（DQN）的强化学习方案，显著加速了学习过程，并提升了对自适应APT攻击的鲁棒性，在动态环境中实现了比Q-learning高至97.87%的数据保护率和96.97%的系统效用。

ABSTRACT

Advanced Persistent Threat (APT) attackers apply multiple sophisticated methods to continuously and stealthily steal information from the targeted cloud storage systems and can even induce the storage system to apply a specific defense strategy and attack it accordingly. In this paper, the interactions between an APT attacker and a defender allocating their Central Processing Units (CPUs) over multiple storage devices in a cloud storage system are formulated as a Colonel Blotto game. The Nash equilibria (NEs) of the CPU allocation game are derived for both symmetric and asymmetric CPUs between the APT attacker and the defender to evaluate how the limited CPU resources, the date storage size and the number of storage devices impact the expected data protection level and the utility of the cloud storage system. A CPU allocation scheme based on "hotbooting" policy hill-climbing (PHC) that exploits the experiences in similar scenarios to initialize the quality values to accelerate the learning speed is proposed for the defender to achieve the optimal APT defense performance in the dynamic game without being aware of the APT attack model and the data storage model. A hotbooting deep Q-network (DQN)-based CPU allocation scheme further improves the APT detection performance for the case with a large number of CPUs and storage devices. Simulation results show that our proposed reinforcement learning based CPU allocation can improve both the data protection level and the utility of the cloud storage system compared with the Q-learning based CPU allocation against APTs.

研究动机与目标

• 解决在CPU资源有限且数据分布动态演变的条件下，防御动态云存储系统中APT攻击的挑战。
• 将APT攻击者与防御者之间的战略互动建模为具有混合策略的科莱曼·布洛托博弈，以推导纳什均衡。
• 设计一种基于强化学习的CPU分配策略，无需事先了解APT攻击模型或数据存储模型。
• 提升学习速度，并增强对能够根据观察到的防御行为自适应调整攻击策略的智能APT攻击的鲁棒性。
• 在数据大小和攻击策略随时间动态变化的环境中，提升数据保护水平和防御者效用。

提出的方法

• 将防御者与APT攻击者之间的CPU分配问题建模为一个双人零和科莱曼·布洛托博弈，包含多个战场（存储设备）和有限的总CPU资源。
• 推导对称与非对称CPU场景下纳什均衡存在的条件，以分析系统参数对数据保护和效用的影响。
• 提出一种热启动策略爬山法（PHC）CPU分配方案，利用相似场景的历史经验初始化Q值，以加速收敛。
• 引入热启动深度Q网络（DQN），以应对具有大量CPU和存储设备的大规模系统，提升学习速度与鲁棒性。
• 采用时间复用机制对跨多个设备的连续CPU分配进行建模，实现对离散科莱曼·布洛托博弈的现实逼近。
• 在动态博弈环境中应用强化学习，其中数据大小和攻击策略随时间变化，使防御者能够在不预先知晓攻击或数据模型的情况下实现自适应调整。

实验结果

研究问题

• RQ1 在基于科莱曼·布洛托博弈的APT防御机制中，存储设备数量、每台设备的数据量以及总CPU资源如何影响数据保护水平和防御者效用？
• RQ2 攻击者与防御者之间CPU资源非对称性对均衡策略和系统性能有何影响？
• RQ3 在缺乏APT攻击模型或数据存储模型先验知识的情况下，防御者如何实现最优CPU分配？
• RQ4 与Q-learning和PHC相比，基于热启动DQN的CPU分配策略在多大程度上提升了学习速度和对自适应APT攻击的鲁棒性？
• RQ5 在数据和攻击策略随时间动态变化的条件下，所提方案在存储设备和CPU数量增加时的性能扩展性如何？

主要发现

• 在包含3个存储设备和16个防御CPU的系统中，热启动DQN-based CPU分配方案在第1000个时隙的数据保护水平比基于PHC的方案高出30.98%，比Q-learning高出97.87%。
• 在相同条件下，热启动DQN方案的防御者效用比PHC高出30.69%，比Q-learning高出96.97%。
• 当防御CPU数量从12增加到16时，采用热启动DQN方法的数据保护水平提升14.20%，效用提升14.03%。
• 在4个存储设备和16个防御CPU的配置下，热启动DQN方案相比Q-learning将数据保护率提升22.29%，效用提升22.4%。
• 即使在6个存储设备的场景下，热启动DQN方案仍表现出色，当使用21个CPU防御4个攻击CPU时，可保护高达80.05%的数据。
• 热启动DQN相对于PHC的性能增益随存储设备数量的增加而提升，表明其在复杂、动态环境中的可扩展性与鲁棒性。