[论文解读] Evolutionary Approach to Security Games with Signaling

Adam Żychowski, Jacek Mańdziuk+4 more|arXiv (Cornell University)|Apr 29, 2022

Reinforcement Learning in Robotics参考文献 20被引用 4

一句话总结

该论文提出EASGS，这是首个针对带信号的安全博弈（SGS）的进化计算方法，采用基于染色体的表示方式和专门设计的遗传算子，实现了高效的可扩展性。EASGS在预期收益、时间可扩展性和内存效率方面均优于现有最先进方法——尤其在密集图和局部密集图上表现更优，展示了在342个基准实例上的卓越性能，且内存使用几乎恒定，收敛性稳定。

ABSTRACT

Green Security Games have become a popular way to model scenarios involving the protection of natural resources, such as wildlife. Sensors (e.g. drones equipped with cameras) have also begun to play a role in these scenarios by providing real-time information. Incorporating both human and sensor defender resources strategically is the subject of recent work on Security Games with Signaling (SGS). However, current methods to solve SGS do not scale well in terms of time or memory. We therefore propose a novel approach to SGS, which, for the first time in this domain, employs an Evolutionary Computation paradigm: EASGS. EASGS effectively searches the huge SGS solution space via suitable solution encoding in a chromosome and a specially-designed set of operators. The operators include three types of mutations, each focusing on a particular aspect of the SGS solution, optimized crossover and a local coverage improvement scheme (a memetic aspect of EASGS). We also introduce a new set of benchmark games, based on dense or locally-dense graphs that reflect real-world SGS settings. In the majority of 342 test game instances, EASGS outperforms state-of-the-art methods, including a reinforcement learning method, in terms of time scalability, nearly constant memory utilization, and quality of the returned defender's strategies (expected payoffs).

研究动机与目标

• 解决基于线性规划/混合整数规划（LP/MILP）和强化学习的现有SGS求解器在时间和内存可扩展性方面的不足。
• 开发一种可扩展的元启发式方法用于SGS，以应对涉及传感器和巡逻者的大型现实场景。
• 设计一种针对SGS结构和战略复杂性的染色体表示方式及进化算子。
• 提出一个新的基准测试套件，基于密集图和局部密集图，反映现实世界的保护场景。
• 在多样化博弈实例中，从收益、运行时间和内存消耗三个方面，将EASGS与最先进方法进行对比评估。

提出的方法

• EASGS采用以防御者为中心的染色体表示，编码在目标顶点上巡逻者和传感器的混合策略。
• 其采用三种专门设计的变异算子，分别针对传感器分配、巡逻者分配和信号策略。
• 提出一种新型交叉算子，在保持解的可行性和质量的同时组合父代解。
• 引入一种种群刷新机制，以维持多样性并防止过早收敛。
• 引入一种记忆式局部搜索组件，通过局部优化有前景的解来提升覆盖范围和收益。
• 该算法的实现使动作复杂度与图的密度无关，从而在稀疏图和密集图上均能保持一致的性能。

实验结果

研究问题

• RQ1 进化计算能否有效应用于带信号的安全博弈，以克服传统优化方法的可扩展性限制？
• RQ2 在预期收益和解的质量方面，EASGS相较于最先进的MILP和基于强化学习的方法表现如何？
• RQ3 EASGS在不同图密度和规模下，能否保持低且稳定的内存使用？
• RQ4 EASGS在时间可扩展性方面是否优于现有方法，特别是在代表现实世界保护场景的密集和局部密集图上？
• RQ5 EASGS在多次运行中的解是否具有鲁棒性和一致性？其是否能确保完全的目标覆盖？

主要发现

• 在342个测试博弈实例中的200个中，EASGS实现了最佳预期收益，且在特定基准类型中具有统计显著优势。
• EASGS展现出卓越的时间可扩展性，尤其在密集图上，显著优于SBP+W及其他方法。
• 即使在100个顶点的博弈中，内存消耗也保持在150 MB以下，而SELP在小型博弈中内存消耗超过200 GB。
• 30次运行的平均标准差为0.86（约占平均收益的1.2%），表明解具有高度稳定性。
• 所有EASGS解均实现了完全的目标覆盖，无任何未覆盖顶点，且巡逻者优先分配给高程度和高价值目标。
• 传感器主要分配给与巡逻目标相连的顶点，反映出与防御者目标的战略一致性。