[论文解读] Sample-Efficient Learning of Stackelberg Equilibria in General-Sum Games

Yu Bai, Chi Jin+2 more|arXiv (Cornell University)|Feb 23, 2021

Advanced Bandit Algorithms Research参考文献 48被引用 11

一句话总结

该论文首次为在仅提供噪声奖励样本的bandit反馈下的一般和博弈中，建立了样本高效的Stackelberg均衡学习算法。它识别出真实Stackelberg值与其有限样本估计之间存在的固有信息论差距，并提供了匹配的上下界，表明在bandit博弈中可使用$\widetilde{O}(AB/\varepsilon^2)$个样本，在bandit-RL博弈中可使用$\widetilde{O}(H^5 S^2 AB / \varepsilon^2)$个episode，在线性bandit博弈中可使用$\widetilde{O}(d^2 / \varepsilon^2)$个样本，实现$({\sf gap}_\varepsilon + \varepsilon)$-近似均衡。

ABSTRACT

Real world applications such as economics and policy making often involve solving multi-agent games with two unique features: (1) The agents are inherently asymmetric and partitioned into leaders and followers; (2) The agents have different reward functions, thus the game is general-sum. The majority of existing results in this field focuses on either symmetric solution concepts (e.g. Nash equilibrium) or zero-sum games. It remains open how to learn the Stackelberg equilibrium -- an asymmetric analog of the Nash equilibrium -- in general-sum games efficiently from noisy samples. This paper initiates the theoretical study of sample-efficient learning of the Stackelberg equilibrium, in the bandit feedback setting where we only observe noisy samples of the reward. We consider three representative two-player general-sum games: bandit games, bandit-reinforcement learning (bandit-RL) games, and linear bandit games. In all these games, we identify a fundamental gap between the exact value of the Stackelberg equilibrium and its estimated version using finitely many noisy samples, which can not be closed information-theoretically regardless of the algorithm. We then establish sharp positive results on sample-efficient learning of Stackelberg equilibrium with value optimal up to the gap identified above, with matching lower bounds in the dependency on the gap, error tolerance, and the size of the action spaces. Overall, our results unveil unique challenges in learning Stackelberg equilibria under noisy bandit feedback, which we hope could shed light on future research on this topic.

研究动机与目标

• 解决在仅提供噪声bandit式反馈时，一般和博弈中Stackelberg均衡学习缺乏理论理解的问题。
• 识别并量化真实Stackelberg值与其有限样本估计之间存在的基本信息论差距。
• 设计样本高效的算法，实现在该差距下的近似最优Stackelberg均衡逼近。
• 在三种代表性博弈设置（bandit博弈、bandit-RL博弈和线性bandit博弈）中，建立样本复杂度的匹配上下界。

提出的方法

• 引入一种新颖的差距度量$\mathsf{gap}_\varepsilon$，量化由于有限样本导致的真实Stackelberg值与其估计值之间的差异。
• 提出一种针对bandit博弈的样本高效算法，使用$\widetilde{O}(AB/\varepsilon^2)$个样本，实现$({\sf gap}_\varepsilon + \varepsilon)$-近似Stackelberg均衡。
• 将无奖励强化学习技术适配到bandit-RL博弈中，以高效探索follower MDP，实现$\widetilde{O}(H^5 S^2 AB / \varepsilon^2)$个episode内的快速收敛。
• 设计基于线性规划的子程序BestMixedLeaderStrategy，以在估计的最佳响应下计算leader的最优混合策略。
• 采用一致收敛论证来限制估计误差，确保次优性在识别出的差距和容差$\varepsilon$范围内。
• 采用三阶段分析：(1) 估计奖励，(2) 计算近似最佳响应，(3) 在估计的follower响应下优化leader的策略。

实验结果

研究问题

• RQ1 在一般和博弈中，仅从有限的噪声样本出发，Stackelberg均衡的逼近程度存在何种基本的信息论极限？
• RQ2 我们能否设计出在该极限下实现近似最优Stackelberg均衡逼近的样本高效算法？
• RQ3 在bandit反馈设置下，样本复杂度如何随动作空间大小、误差容差和内在差距变化？
• RQ4 所提出的方法能否扩展到结构化环境，如分段MDP（bandit-RL）和高维线性动作空间（线性bandit）？
• RQ5 在这些设置中，学习Stackelberg均衡的样本复杂度的最紧致上下界是什么？

主要发现

• 真实Stackelberg值与其有限样本估计之间存在一个固有的差距$\mathsf{gap}_\varepsilon$，无论使用何种算法都无法消除。
• 在bandit博弈中，所提算法使用$\widetilde{O}(AB/\varepsilon^2)$个样本，可实现$({\sf gap}_\varepsilon + \varepsilon)$-近似Stackelberg均衡，且与信息论下界匹配。
• 在bandit-RL博弈中，算法需要$\widetilde{O}(H^5 S^2 AB / \varepsilon^2)$个episode以实现$({\sf gap}_\varepsilon + \varepsilon)$-近似，其中$H$和$S$分别表示MDP的时域长度和状态空间大小。
• 在线性bandit博弈中，算法使用$\widetilde{O}(d^2 / \varepsilon^2)$个样本，可实现$({\sf gap}_\varepsilon + \varepsilon)$-近似，其中$d$为特征维度。
• 样本复杂度的上下界在$\varepsilon$、$A$、$B$、$H$、$S$和$d$上的依赖关系完全匹配，表明在对数因子范围内达到最优。
• 结果揭示了在bandit反馈下学习Stackelberg均衡所面临的独特挑战，这些挑战与学习Nash均衡不同，源于非对称的leader-follower结构以及价值估计中的差距。