[论文解读] Learning Game Representations from Data Using Rationality Constraints

Xi Alice Gao, Avi Pfeffer|arXiv (Cornell University)|Mar 15, 2012

Experimental Behavioral Economics Studies参考文献 10被引用 10

一句话总结

本文提出一种通过在学习过程中整合理性约束来从数据中学习博弈表示的方法，将玩家策略建模为量化响应均衡。通过将问题形式化为一种平衡数据拟合与理性的加权约束满足问题，该方法在数据有限的情况下显著提升了收益和策略学习的准确性，优于直接学习的基线方法。

ABSTRACT

While game theory is widely used to model strategic interactions, a natural question is where do the game representations come from? One answer is to learn the representations from data. If one wants to learn both the payoffs and the players' strategies, a naive approach is to learn them both directly from the data. This approach ignores the fact the players might be playing reasonably good strategies, so there is a connection between the strategies and the data. The main contribution of this paper is to make this connection while learning. We formulate the learning problem as a weighted constraint satisfaction problem, including constraints both for the fit of the payoffs and strategies to the data and the fit of the strategies to the payoffs. We use quantal response equilibrium as our notion of rationality for quantifying the latter fit. Our results show that incorporating rationality constraints can improve learning when the amount of data is limited.

研究动机与目标

• 解决从战略互动中的观测数据中学习博弈表示（收益和策略）的挑战。
• 认识到玩家策略并非随机的，而是反映理性行为，并将此特性融入学习过程。
• 通过强制策略与收益之间的一致性，提升学习准确性，尤其是在小样本数据集下。
• 将学习问题形式化为包含数据拟合与理性约束的加权约束满足问题（WCSP）。

提出的方法

• 将博弈表示学习问题形式化为加权约束满足问题（WCSP）。
• 引入确保学习到的收益和策略与观测数据相匹配的约束。
• 使用量化响应均衡（QRE）引入理性约束，以建模玩家策略应如何与收益对齐。
• 利用QRE量化理性程度，对策略与收益之间的不一致性施加惩罚。
• 优化WCSP，以同时满足数据约束与理性约束，联合学习收益与策略。
• 将该方法应用于实证数据，证明其在性能上优于忽略理性的基线方法。

实验结果

研究问题

• RQ1 如何通过在策略中引入理性，提升在数据有限情况下的博弈表示学习准确性？
• RQ2 强制实施理性约束对所学收益与策略质量有何影响？
• RQ3 能否设计一种统一框架，在数据拟合与理性之间取得平衡，从而超越直接从数据中学习收益与策略的方法？
• RQ4 将量化响应均衡作为理性模型使用，对学习性能有何影响？
• RQ5 在何种场景下，引入理性约束能显著提升博弈表示学习的性能？

主要发现

• 在数据稀缺的情况下，引入理性约束能显著提升所学博弈表示的准确性。
• 所提出的方法优于直接将收益与策略拟合到数据但未强制实施理性的朴素学习方法。
• 使用量化响应均衡作为理性模型，能有效捕捉战略情境下真实玩家的行为。
• 加权约束满足框架使得在同时满足数据与理性约束的前提下，对收益与策略进行联合优化成为可能。
• 实证结果表明，学习性能有可测量的提升，尤其是在低数据场景下，验证了理性约束的价值。