[论文解读] Constraints Satisfiability Driven Reinforcement Learning for Autonomous Cyber Defense

Ashutosh Dutta, Ehab Al‐Shaer+1 more|arXiv (Cornell University)|Apr 19, 2021

Smart Grid Security and Resilience参考文献 9被引用 4

一句话总结

本文提出了一种混合强化学习架构——约束可满足性驱动强化学习（Constrained Satisfiability-driven Reinforcement Learning, CSRL），将可满足性逻辑模（Satisfiability Modulo Theories, SMT）验证集成到自主网络防御智能体的决策循环中，以确保实时满足安全与安全约束。该方法可实现快速收敛至最优防御策略，并在模拟的网络物理系统中成功击败99%的多样化攻击策略。

ABSTRACT

With the increasing system complexity and attack sophistication, the necessity of autonomous cyber defense becomes vivid for cyber and cyber-physical systems (CPSs). Many existing frameworks in the current state-of-the-art either rely on static models with unrealistic assumptions, or fail to satisfy the system safety and security requirements. In this paper, we present a new hybrid autonomous agent architecture that aims to optimize and verify defense policies of reinforcement learning (RL) by incorporating constraints verification (using satisfiability modulo theory (SMT)) into the agent's decision loop. The incorporation of SMT does not only ensure the satisfiability of safety and security requirements, but also provides constant feedback to steer the RL decision-making toward safe and effective actions. This approach is critically needed for CPSs that exhibit high risk due to safety or security violations. Our evaluation of the presented approach in a simulated CPS environment shows that the agent learns the optimal policy fast and defeats diversified attack strategies in 99\% cases.

研究动机与目标

• 解决复杂网络物理系统（CPS）中缺乏实时、约束感知的自主网络防御问题。
• 克服现有强化学习与约束满足框架中静态模型和不切实际假设的局限性。
• 开发一种混合智能体架构，在策略学习过程中动态验证安全与安全约束。
• 实现实时、自适应的防御规划，即使在攻击策略演变和环境不确定的情况下仍能保持可证明正确性。
• 通过SMT驱动的约束可满足性反馈，提升基于强化学习的防御智能体的收敛性与有效性。

提出的方法

• 将防御问题建模为具有随机环境动态和任务导向约束的序列决策过程（Sequential Decision Process, SDP）。
• 采用无模型强化学习（PPO2与MlpPolicy）通过与模拟环境的交互来优化防御策略。
• 引入预执行可满足性（Pre-sat）模块，利用SMT求解器验证候选防御动作是否满足所有安全与安全约束。
• 将策略优化与约束验证解耦，基于可满足性反馈更新策略，而非直接强制执行约束。
• 利用环境反馈推断隐含或不完整的约束，提升在动态或不确定领域中的鲁棒性。
• 使用Python实现该框架，基于OpenAI Gym与Stable Baselines，采用两种网络拓扑（100台与200台设备）进行评估。

实验结果

研究问题

• RQ1 如何通过形式化验证增强强化学习，以确保在自主网络防御中满足安全与安全约束？
• RQ2 SMT-based约束验证在多大程度上提升了强化学习防御智能体在动态环境中的收敛性与性能？
• RQ3 智能体是否能在缺乏先验知识的情况下，通过环境反馈动态推断缺失或模糊的约束，从而学习有效的防御策略？
• RQ4 预执行SMT验证的集成在多大程度上提升了智能体击败多样化攻击策略（包括隐蔽型与攻击型）的能力？
• RQ5 该混合架构在大规模CPS环境中的可扩展性与实时可行性如何？

主要发现

• 智能体在100台与200台设备的网络拓扑中，对包括隐蔽型、攻击型与基础型攻击者在内的多样化攻击策略，均实现了99%的成功率。
• 在200台设备的拓扑中，智能体在50个训练周期内收敛至最优防御规划，并在面对隐蔽型攻击者时获得超过87%的奖励。
• 在对抗攻击型攻击者时，智能体在75%的情况下于25至27个时间步内终止了攻击传播，表现出快速响应能力。
• Pre-sat模块使智能体在面对隐蔽型攻击者时的奖励性能最高提升了70%，显著改善了策略优化效果。
• 即使在最具挑战性的场景下，智能体成功将攻击者传播至目标状态的概率降低至1%以下。
• 该框架展示了良好的可扩展性与实时可行性，由于可满足性规划机会增加，大规模拓扑中的收敛速度更快。