[论文解读] Deep Reinforcement Learning based Adaptive Moving Target Defense.

Taha Eghtesad, Yevgeniy Vorobeychik+1 more|arXiv (Cornell University)|Nov 27, 2019

Network Security and Intrusion Detection参考文献 7被引用 9

一句话总结

本文提出一种基于深度强化学习（DRL）的方法，通过将移动目标防御（MTD）建模为部分可观测马尔可夫决策过程（POMDP），以优化自适应MTD策略。通过引入紧凑的记忆表征，该方法显著提升了训练效率，并在降低攻击者成功概率方面优于现有策略。

ABSTRACT

Moving target defense (MTD) is a proactive defense approach that aims to thwart attacks by continuously changing the attack surface of a system (e.g., changing host or network configurations), thereby increasing the adversary's uncertainty and attack cost. To maximize the impact of MTD, a defender must strategically choose when and what changes to make, taking into account both the characteristics of its system as well as the adversary's observed activities. Finding an optimal strategy for MTD presents a significant challenge, especially when facing a resourceful and determined adversary who may respond to the defender's actions. In this paper, we propose finding optimal MTD strategies using deep reinforcement learning. Based on an established model of adaptive MTD, we formulate finding an MTD strategy as finding a policy for a partially-observable Markov decision process. To significantly improve training performance, we introduce compact memory representations. To demonstrate our approach, we provide thorough numerical results, showing significant improvement over existing strategies.

研究动机与目标

• 解决在不确定性和攻击者适应性背景下，动态选择最优MTD动作的挑战。
• 将MTD策略选择建模为部分可观测马尔可夫决策过程（POMDP），以在信息不完整的情况下实现更优决策。
• 通过保留关键状态信息的紧凑记忆表征，提升MTD策略的训练效率。
• 在真实攻击场景下，评估所提出的基于DRL的策略相较于现有MTD方法的性能。
• 通过全面的数值评估，证明防御有效性的显著提升。

提出的方法

• 作者将MTD策略选择问题建模为部分可观测马尔可夫决策过程（POMDP），以捕捉攻击者行为和系统状态的不确定性。
• 采用深度Q网络（DQN）学习MTD动作的最优策略，实现从观测值端到端的训练。
• 引入紧凑的记忆表征，以高效总结历史观测，降低状态空间维度，加速训练过程。
• DRL智能体在学习过程中平衡探索与利用，同时适应攻击者行为的演变。
• 通过将系统约束和攻击者响应动态编码到环境模型中，考虑其影响。
• 训练基于模拟的对抗交互进行，策略优化由反映防御有效性的累积奖励引导。

实验结果

研究问题

• RQ1 如何有效应用深度强化学习，在部分可观测条件下学习自适应MTD策略？
• RQ2 紧凑的记忆表征对基于DRL的MTD策略训练效率和性能有何影响？
• RQ3 所提出的基于DRL的MTD策略相较于现有静态或启发式MTD策略，在降低攻击者成功概率方面表现如何？
• RQ4 在动态威胁环境中，DRL智能体在多大程度上能够适应不断演变的攻击者行为？
• RQ5 所提方法在保持强大防御性能的同时，能否扩展到真实的系统配置？

主要发现

• 所提出的基于DRL的MTD策略在降低攻击者成功概率方面，显著优于现有的启发式和静态MTD策略。
• 紧凑的记忆表征有助于加快收敛速度并提升策略学习过程中的训练稳定性。
• 该方法能有效适应攻击者动作，在自适应攻击者行为下仍能维持高水平的防御有效性。
• 数值结果表明，在多个模拟攻击场景中均表现出一致的性能提升。
• 由于高效的态表示和策略学习，该方法在复杂系统配置下也表现出良好的可扩展性。
• DRL智能体学会通过战略性地安排配置变更时机，平衡系统可用性与安全性。