[论文解读] Machine Learning Techniques for Stackelberg Security Games: a Survey

Giuseppe De Nittis, Francesco Trovò|arXiv (Cornell University)|Sep 29, 2016

Reinforcement Learning in Robotics参考文献 19被引用 3

一句话总结

本综述介绍了用于Stackelberg安全博弈（SSGs）的机器学习技术，重点包括：通过人类行为建模有限理性的攻击者，利用基于后悔的方法估计未知的攻击者收益，以及结合Whittle指数与POMDP规划的在线学习方法。提出GMOP算法，结合Gibbs抽样与蒙特卡洛树搜索（MCTS），以改进在资源保护博弈中最优防护者策略的信念状态抽样。

ABSTRACT

The present survey aims at presenting the current machine learning techniques employed in security games domains. Specifically, we focused on papers and works developed by the Teamcore of University of Southern California, which deepened different directions in this field. After a brief introduction on Stackelberg Security Games (SSGs) and the poaching setting, the rest of the work presents how to model a boundedly rational attacker taking into account her human behavior, then describes how to face the problem of having attacker's payoffs not defined and how to estimate them and, finally, presents how online learning techniques have been exploited to learn a model of the attacker.

研究动机与目标

• 为应对攻击者偏离完全理性的问题，通过将人类行为纳入SSGs来建模攻击者。
• 当攻击者收益不可直接观测时，利用防御者后悔作为代理，估计未知的攻击者收益。
• 开发在线学习方法，基于历史观测与信念更新，实现实时自适应防御者策略。
• 提升在动态、部分可观察环境（如野生动物保护与反盗猎行动）中的决策质量。
• 提出一种新型在线规划算法（GMOP），利用Gibbs抽样实现POMDP中信念状态的精确表示，以优化防护者策略。

提出的方法

• 采用SUQR与SHARP框架对有限理性的攻击者进行建模，其自适应效用函数反映人类决策偏差。
• 通过分析防御者后悔来估计攻击者收益，利用基于后悔的解法推断效用结构，而无需直接的收益信息。
• 将防御者问题形式化为非齐次多臂赌博机（RMAB）问题，并应用Whittle指数理论推导可索引策略。
• 提出GMOP，一种在线规划算法，利用Gibbs抽样从真实信念状态中抽取精确样本，优于粒子滤波的近似方法。
• 构建一种特殊POMDP，其具有已知计数状态与时间不变的效用状态，从而可通过Gibbs抽样实现直接信念抽样。
• 将Gibbs抽样与蒙特卡洛树搜索（MCTS）结合，用于在不确定性下规划最优防御者策略，利用抽样得到的信念状态进行动作选择。

实验结果

研究问题

• RQ1 如何通过在SSGs中引入有限理性与人类决策偏差，实现对攻击者行为的更真实建模？
• RQ2 当攻击者收益不可直接观测或未明确定义时，可采用哪些方法进行估计？
• RQ3 在线学习技术如何应用于重复安全博弈中，以在信息不完全的情况下动态调整防御者策略？
• RQ4 在基于POMDP的规划中，使用精确信念状态抽样（通过Gibbs抽样）与近似方法（如粒子滤波）相比，对防御者策略质量有何影响？
• RQ5 Whittle指数策略能否有效应用于安全博弈中的非齐次赌博机模型，以实现探索与利用的平衡？

主要发现

• SUQR与SHARP模型成功捕捉了攻击者的有限理性，提升了SSG中防御者策略的现实性与性能。
• 基于后悔的方法可在无需明确知晓效用函数的情况下估计攻击者收益，从而实现有效策略计算。
• Whittle指数方法为非齐次赌博机模型提供了可索引性的充分条件，使动态安全博弈中的高效在线学习成为可能。
• GMOP通过使用Gibbs抽样从真实信念状态中抽取精确样本，优于基于粒子滤波的抽样方法，从而带来更准确、更稳定的策略学习。
• GMOP中Gibbs抽样与MCTS的结合，实现了更优的动作选择，并在部分可观察的安全博弈中提升了期望效用。
• 具有已知计数状态与固定效用状态的特殊POMDP结构，支持高效的信念更新与直接抽样，使在线规划在可行性和可扩展性方面得以实现。