[论文解读] Inroads into Autonomous Network Defence using Explained Reinforcement Learning

Myles Foley, Mia Wang+3 more|arXiv (Cornell University)|Jun 15, 2023

Network Security and Intrusion Detection被引用 4

一句话总结

本文提出了一种用于自主网络防御的分层深度强化学习（DRL）框架，采用可解释的强化学习来可视化攻击者行为并提升决策能力。该研究引入了两种增强型控制器架构——启发式与上下文Bandit-based控制器——显著提升了防御准确率，相关成果通过特征消融分析与基于SHAP的可解释性分析得到验证。

ABSTRACT

Computer network defence is a complicated task that has necessitated a high degree of human involvement. However, with recent advancements in machine learning, fully autonomous network defence is becoming increasingly plausible. This paper introduces an end-to-end methodology for studying attack strategies, designing defence agents and explaining their operation. First, using state diagrams, we visualise adversarial behaviour to gain insight about potential points of intervention and inform the design of our defensive models. We opt to use a set of deep reinforcement learning agents trained on different parts of the task and organised in a shallow hierarchy. Our evaluation shows that the resulting design achieves a substantial performance improvement compared to prior work. Finally, to better investigate the decision-making process of our agents, we complete our analysis with a feature ablation and importance study.

研究动机与目标

• 通过实现完全自主、由AI驱动的防御系统，解决人工主导网络防御带来的高运营成本与复杂性问题。
• 克服深度强化学习智能体在安全关键应用中可解释性不足的问题，从而增强信任并促进模型发展。
• 通过利用状态图可视化对抗行为所获得的洞察，指导智能体架构设计，提升防御性能。
• 开发专用子智能体与控制器，使其在CybORG环境中对多样化攻击策略的检测与缓解能力优于基线模型。
• 通过特征消融与SHAP分析实现训练后可解释性，以理解哪些观测组件对智能体决策影响最大。

提出的方法

• 使用状态图可视化并分析CybORG环境中对抗行为，识别防御设计的关键干预点。
• 采用分层DRL架构，由控制器协调多个专用子智能体，各子智能体通过近端策略优化（PPO）算法训练，以应对特定攻击类型。
• 通过内在好奇心模块（ICM）引入好奇心驱动探索，提升稀疏奖励防御场景下的探索效率。
• 设计两种改进的控制器模型：基于观测到的对抗者行为模式的启发式控制器，以及用于动态策略选择的Bandit-based控制器。
• 应用SHAP（SHapley Additive exPlanations）执行事后特征重要性分析，识别观测空间中的关键元素。
• 开展特征消融研究，评估单个特征对智能体性能的影响，验证模型的鲁棒性与可解释性。

Figure 1 : The CybORG environment showing the three subnets and their corresponding hosts and firewalls.

实验结果

研究问题

• RQ1 如何通过可视化与分析网络防御环境中的对抗行为，以指导更高效防御智能体的设计？
• RQ2 分层DRL结合专用子智能体与改进控制器是否能在自主网络防御任务中超越现有基线模型？
• RQ3 观测空间中的特定特征在多大程度上影响防御智能体的决策？其中哪些特征对性能最为关键？
• RQ4 可解释人工智能（XAI）技术（如SHAP与消融研究）如何增强对DRL智能体在网络安全防御中行为的理解？
• RQ5 在训练流程中集成内在好奇心与可解释性，是否能生成更鲁棒且可解释的防御策略？

主要发现

• 所提出的启发式与Bandit-based控制器架构在CybORG环境中对攻击者行为分类任务中，相较于基线模型实现了显著的性能提升。
• 特征消融研究显示，'host access'特征对防御智能体最为关键，其移除会显著降低性能。
• SHAP分析确认，'host access'特征在决定智能体奖励方面最具影响力，其次为'service status'与'process state'特征。
• 采用Bandit-based控制器的模型在性能上优于基线模型与仅使用PPO的模型，证明了自适应策略选择的价值。
• 即使整体重要性较低的特征（如'network connection'）在故障恢复等场景中仍对智能体性能有显著贡献。
• 通过SHAP与消融分析实现的训练后可解释性，为智能体决策过程提供了可操作的洞察，增强了信任度，并有助于模型优化。

Figure 2 : Hierarchical structure of the overall defensive model including the specialist subagents.