[论文解读] Deep Reinforcement Learning for Autonomous Cyber Defence: A Survey

Gregory M. Palmer, Chris Parry+2 more|arXiv (Cornell University)|Oct 11, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

本综述提出了一种针对自主网络攻防操作（ACO）中深度强化学习（DRL）的综合框架，解决了高维状态空间、大动作空间以及对抗性可利用性等问题。该综述评估了现有的DRL基准，回顾了状态抽象与探索技术，并批判性地分析了降低代理在对抗性环境中脆弱性的方法，为构建可扩展、安全的ACO系统奠定了基础。

ABSTRACT

The rapid increase in the number of cyber-attacks in recent years raises the need for principled methods for defending networks against malicious actors. Deep reinforcement learning (DRL) has emerged as a promising approach for mitigating these attacks. However, while DRL has shown much potential for cyber defence, numerous challenges must be overcome before DRL can be applied to the autonomous cyber defence (ACD) problem at scale. Principled methods are required for environments that confront learners with very high-dimensional state spaces, large multi-discrete action spaces, and adversarial learning. Recent works have reported success in solving these problems individually. There have also been impressive engineering efforts towards solving all three for real-time strategy games. However, applying DRL to the full ACD problem remains an open challenge. Here, we survey the relevant DRL literature and conceptualize an idealised ACD-DRL agent. We provide: i.) A summary of the domain properties that define the ACD problem; ii.) A comprehensive comparison of current ACD environments used for benchmarking DRL approaches; iii.) An overview of state-of-the-art approaches for scaling DRL to domains that confront learners with the curse of dimensionality, and; iv.) A survey and critique of current methods for limiting the exploitability of agents within adversarial settings from the perspective of ACD. We conclude with open research questions that we hope will motivate future directions for researchers and practitioners working on ACD.

研究动机与目标

• 将自主网络攻防操作（ACO）定义为一种对抗性、高维、多智能体强化学习问题，明确其核心挑战。
• 评估现有DRL基准环境在建模现实世界ACO场景方面的适用性。
• 识别并分析用于处理高维状态空间和动作空间的最先进DRL技术。
• 批判性评估在对抗性网络环境中降低DRL代理可利用性的方法。
• 提出推动基于DRL的可扩展、安全、自主网络防御系统发展的开放研究问题。

提出的方法

• 本文综述了聚焦于网络防御的DRL文献，识别出通过状态抽象和内在探索来应对高维状态空间的方法。
• 评估基准环境（如Atari、Procgen以及即时战略游戏）在在多大程度上能够模拟ACO环境的复杂性。
• 回顾分层和基于选项的DRL架构（如FeUSe、H-DQN、Eigenoptions），以实现多尺度学习并降低探索难度。
• 考察持续学习和灾难性遗忘缓解技术，如因子化策略和带有回放缓冲区的经验回放。
• 分析对抗性鲁棒性方法，包括内在好奇心、新颖性检测和奖励塑形，以提升代理的抗干扰能力。
• 将现有DRL解决方案映射到ACO的三大核心挑战：维度、动作空间大小和对抗性可利用性，提出一种概念化的理想化ACO-DRL代理架构。

实验结果

研究问题

• RQ1 现有DRL基准环境在多大程度上准确反映了现实世界自主网络攻防操作（ACO）的复杂性？
• RQ2 在ACO中，哪些DRL技术最有效地管理高维状态空间，其可扩展性如何？
• RQ3 如何利用DRL有效建模和探索ACO中的大规模组合动作空间？
• RQ4 可采用哪些方法来降低DRL代理在对抗性网络防御场景中的可利用性？
• RQ5 在构建基于DRL的可扩展、系统化且安全的ACO系统方面，仍存在哪些开放的研究挑战？

主要发现

• 现有DRL基准如Procgen以及即时战略游戏（如StarCraft II）可作为ACO的有用但不完整的类比，因其在动作空间结构和环境动态方面存在差异。
• 状态抽象技术（包括VQ-AE和深度双射）在降低状态空间维度的同时，有效保留了任务相关的信息，展现出良好前景。
• 内在好奇心和基于情景记忆的探索方法（如HOMER、Savinovepisodic）在高维、稀疏奖励环境中显著提升了学习效率。
• 采用共享特征提取器和任务特定头的因子化策略架构，在持续学习场景中有效缓解了灾难性遗忘，适用于不断演变的网络威胁。
• DRL在ACO中的对抗性鲁棒性仍是开放挑战，现有方法仅提供部分保护，尚无法扩展至完整ACO的复杂性。
• 目前尚无单一DRL方法能同时解决ACO的三大核心挑战，凸显了对集成化、多维度代理设计的迫切需求。