[论文解读] Deep Reinforcement Learning for Green Security Games with Real-Time Information

Yufei Wang, Zheyuan Ryan Shi+5 more|arXiv (Cornell University)|Nov 6, 2018

Reinforcement Learning in Robotics参考文献 33被引用 13

一句话总结

本文提出GSG-I，一种新型的绿色安全序贯博弈模型，整合了实时信息与自适应响应。该模型引入DeDOL，一种基于双Oracle框架的深度强化学习算法，结合DQN与局部模式，显著提升了在传统方法（如CFR）因计算不可行而失效的大规模安全博弈中的性能。

ABSTRACT

Green Security Games (GSGs) have been proposed and applied to optimize patrols conducted by law enforcement agencies in green security domains such as combating poaching, illegal logging and overfishing. However, real-time information such as footprints and agents' subsequent actions upon receiving the information, e.g., rangers following the footprints to chase the poacher, have been neglected in previous work. To fill the gap, we first propose a new game model GSG-I which augments GSGs with sequential movement and the vital element of real-time information. Second, we design a novel deep reinforcement learning-based algorithm, DeDOL, to compute a patrolling strategy that adapts to the real-time information against a best-responding attacker. DeDOL is built upon the double oracle framework and the policy-space response oracle, solving a restricted game and iteratively adding best response strategies to it through training deep Q-networks. Exploring the game structure, DeDOL uses domain-specific heuristic strategies as initial strategies and constructs several local modes for efficient and parallelized training. To our knowledge, this is the first attempt to use Deep Q-Learning for security games.

研究动机与目标

• 解决现有绿色安全博弈模型中缺乏实时信息与自适应响应的问题。
• 为具有不完美信息与序贯行动的零和广义形式博弈设计可扩展的解决方案。
• 设计一种深度强化学习算法，以在动态攻击者行为下高效计算自适应巡逻策略。
• 通过利用领域特定启发式方法与局部训练模式，克服大规模博弈中反事实遗憾最小化（CFR）的计算不可行性。

提出的方法

• 提出GSG-I，一种零和广义形式博弈模型，整合了实时观测与防御者及攻击者的序贯决策机制。
• 开发DeDOL，一种基于双Oracle框架并结合策略空间响应Oracle（PSRO）的DRL算法，用于迭代生成策略。
• 使用深度Q网络（DQN）紧凑表示纯策略，并在高维动作空间中学习近似最优响应。
• 引入局部模式——每个对应一个特定的攻击者入口点——以降低环境复杂度，实现并行化高效训练。
• 采用领域特定启发式策略（如参数化随机游走、随机扫荡）作为初始策略，以加速收敛。
• 在全局与局部模式中应用机会采样与迭代优化，以平衡探索与可 exploited 性，提升策略质量。

实验结果

研究问题

• RQ1 深度强化学习能否有效建模具有实时信息的绿色安全博弈中的自适应巡逻策略？
• RQ2 局部模式的整合在大规模安全博弈中如何提升训练效率与策略质量？
• RQ3 DeDOL在防御者效用与可扩展性方面，相较于CFR与Vanilla-PSRO等成熟方法，优势程度如何？
• RQ4 启发式初始化策略是否能显著加速DRL驱动的安全博弈求解器的收敛？
• RQ5 在局部模式中训练所得策略在重新组合至全局模式时，是否具备可迁移性与高质量？

主要发现

• 在小型博弈中，DeDOL实现的防御者期望效用与反事实遗憾最小化（CFR）相当，后者是广义形式博弈的最先进方法。
• 在大型博弈（5×5与7×7网格）中，DeDOL显著优于Vanilla-PSRO与随机扫荡基线，其中局部+全局模式版本实现最高防御者效用。
• DeDOL的局部+全局模式配置性能优于纯局部或纯全局训练，证明了模式特定策略学习的有效性。
• 与CFR相比，DeDOL所需内存显著减少，因其仅存储神经网络而非整个博弈树。
• 使用启发式策略作为初始策略可加速收敛，并在PSRO中生成优于随机初始化的最终策略。
• DeDOL的DQN表示成功近似了最优响应，即使在精确最优响应难以计算的复杂环境中亦然。