[论文解读] Inverse Game Theory for Stackelberg Games: the Blessing of Bounded Rationality

Jibang Wu, Weiran Shen+2 more|arXiv (Cornell University)|Oct 4, 2022

Opinion Dynamics and Social Influence被引用 6

一句话总结

该论文提出了一种新颖的逆博弈论框架PURE，用于在有界理性下通过量化响应模型学习Stackelberg博弈中的跟随者效用参数。通过利用非理性行为中的随机性，该方法实现了可证明的高效学习——与完美理性下所见的统计困难形成对比——表明有界理性在序列博弈的逆学习中起到了‘福分’作用。

ABSTRACT

Optimizing strategic decisions (a.k.a. computing equilibrium) is key to the success of many non-cooperative multi-agent applications. However, in many real-world situations, we may face the exact opposite of this game-theoretic problem -- instead of prescribing equilibrium of a given game, we may directly observe the agents' equilibrium behaviors but want to infer the underlying parameters of an unknown game. This research question, also known as inverse game theory, has been studied in multiple recent works in the context of Stackelberg games. Unfortunately, existing works exhibit quite negative results, showing statistical hardness and computational hardness, assuming follower's perfectly rational behaviors. Our work relaxes the perfect rationality agent assumption to the classic quantal response model, a more realistic behavior model of bounded rationality. Interestingly, we show that the smooth property brought by such bounded rationality model actually leads to provably more efficient learning of the follower utility parameters in general Stackelberg games. Systematic empirical experiments on synthesized games confirm our theoretical results and further suggest its robustness beyond the strict quantal response model.

研究动机与目标

• 解决跟随者效用未知但可观察到均衡行为的Stackelberg博弈中的逆博弈论问题。
• 克服在完美理性假设下逆学习所面临的统计与计算困难。
• 探究通过量化响应（QR）框架建模的有界理性是否能实现更高效的跟随者效用学习。
• 开发一种在有界理性下适用于逆Stackelberg博弈的实用且可证明高效的算法。
• 通过实证评估验证所提方法在严格QR模型假设之外的鲁棒性。

提出的方法

• 提出PURE（通过探索恢复效用参数）框架，利用对跟随者均衡响应的查询来学习跟随者效用参数。
• 使用量化响应（QR）模型对跟随者行为进行建模，该模型通过基于效用差异的Logit选择概率引入随机性。
• 设计一种迭代学习算法，查询领导者策略并观察跟随者的概率性响应，以估计潜在的效用矩阵。
• 引入探索-利用策略（如PURE-Exp）以在低非理性程度区域平衡学习效率与准确性。
• 利用特定博弈类型（如安全博弈）的结构洞见，加速收敛并提升样本效率。
• 理论分析表明，PURE的收敛速率受$\frac{1}{\lambda\sqrt{t}}$限制，其中$\lambda$控制有界理性的水平。

实验结果

研究问题

• RQ1 与完美理性相比，跟随者行为中的有界理性是否能实现更高效的逆学习效用参数？
• RQ2 尽管行为复杂性增加，量化响应模型引入的随机性是否为逆学习提供了更丰富的信息源？
• RQ3 有界理性水平（$\lambda$）如何影响效用恢复的样本复杂度与收敛速率？
• RQ4 特定博弈类型（如安全博弈）的结构特性是否可被利用以进一步提升逆Stackelberg博弈中的学习效率？
• RQ5 在现实场景中，当偏离严格量化响应模型时，所提方法的鲁棒性如何？

主要发现

• 所提出的PURE算法在量化响应模型下，实现了对一般Stackelberg博弈中跟随者效用参数的可证明高效学习，与完美理性下观察到的统计困难形成鲜明对比。
• 实证结果表明，当$\lambda$较小时（有界理性程度更高），学习收敛速度更快，与理论上的$\frac{1}{\lambda\sqrt{t}}$收敛速率一致。
• 随着$\lambda$增大（趋近完美理性），收敛速率减慢，性能下降——与完美理性状态下已知的统计困难相符。
• 该方法优于依赖固定大规模领导者策略集的标准离线学习设置，尤其在低非理性程度区域（跟随者响应更嘈杂）表现更优。
• 结合博弈特定的结构洞见（如在安全博弈中）可显著加速收敛，证明了领域感知优化的价值。
• PURE-Exp（平衡探索与利用）在跟随者更理性的场景中提升了性能，但随着$\lambda$增大，其增益逐渐减弱，证实了向困难区域的过渡。