[论文解读] Minimax Sample Complexity for Turn-based Stochastic Game

Qiwen Cui, Lin F. Yang|arXiv (Cornell University)|Nov 29, 2020

Reinforcement Learning in Robotics参考文献 24被引用 5

一句话总结

该论文证明，插件求解器方法——即从生成模型中学习经验性轮换随机博弈（TBSG），并通过规划求解——在寻找TBSG中的近似纳什均衡时，实现了极小极大样本复杂度。通过引入吸收性TBSG和奖励扰动技术，作者证明了紧致的问题相关与问题无关的样本复杂度界，表明该方法在所有$ε$值和次优性差距下均达到最优。

ABSTRACT

The empirical success of Multi-agent reinforcement learning is encouraging, while few theoretical guarantees have been revealed. In this work, we prove that the plug-in solver approach, probably the most natural reinforcement learning algorithm, achieves minimax sample complexity for turn-based stochastic game (TBSG). Specifically, we plan in an empirical TBSG by utilizing a `simulator' that allows sampling from arbitrary state-action pair. We show that the empirical Nash equilibrium strategy is an approximate Nash equilibrium strategy in the true TBSG and give both problem-dependent and problem-independent bound. We develop absorbing TBSG and reward perturbation techniques to tackle the complex statistical dependence. The key idea is artificially introducing a suboptimality gap in TBSG and then the Nash equilibrium strategy lies in a finite set.

研究动机与目标

• 为基于模型的强化学习在轮换随机博弈（TBSGs）中的理论空白提供补足，此前的研究缺乏极小极大样本复杂度保证。
• 确立插件求解器方法——即从经验模型中学习并利用规划求解——在生成模型预言机下的TBSGs中为极小极大最优。
• 将次优性差距的概念从Bandits和MDPs扩展至TBSGs，并利用其推导出更紧致的问题相关样本复杂度界。
• 开发新颖的统计工具——吸收性TBSG与奖励扰动——以处理TBSGs中由智能体交互引发的复杂统计依赖性。

提出的方法

• 引入一种吸收性TBSG变换，将博弈重构为仅通过单个参数$u$依赖于转移概率的统计结构，从而利用$ε$-覆盖实现浓度界限。
• 应用奖励扰动以创建受控的次优性差距$\Delta$，确保经验纳什均衡策略以高概率与真实策略一致。
• 在经验转移和奖励模型上使用联合界与浓度不等式，以限制Q值中的估计误差。
• 利用TBSG的结构实现学习与规划的解耦，使任何规划算法均可应用于经验模型。
• 通过改变$\epsilon$和$\Delta$，分析问题相关与问题无关的样本复杂度，其中后者与已知下界一致。
• 证明当样本量超过$O(|\mathcal{S}||\mathcal{A}|(1-\gamma)^{-3}\Delta^{-2}\log(\cdots))$时，经验纳什均衡策略恰好等于真实纳什均衡策略。

实验结果

研究问题

• RQ1 插件求解器方法是否能在轮换随机博弈中实现极小极大样本复杂度？
• RQ2 在生成模型设定下，寻找TBSG中$\epsilon$-纳什均衡的最紧致样本复杂度是多少？
• RQ3 如何利用次优性差距$\Delta$来推导TBSGs中的问题相关界？
• RQ4 处理多智能体学习中非独立同分布且相互依赖的结构，需要哪些新颖的统计技术？
• RQ5 生成模型设定是否允许在所有$\epsilon$和$\Delta$值下实现最优样本复杂度？

主要发现

• 插件求解器方法在TBSGs中实现了极小极大样本复杂度，与已知的下界$O(|\mathcal{S}||\mathcal{A}|(1-\gamma)^{-3}\epsilon^{-2})$在问题无关设定下一致。
• 对于问题相关界，当样本数为$O(|\mathcal{S}||\mathcal{A}|(1-\gamma)^{-3}\Delta^{-2}\log(\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)\delta\Delta}))$时，以高概率足以恢复精确的纳什均衡策略。
• 当$\Delta \in (0, (1-\gamma)^{-1}]$且采样充分时，次优性差距$\Delta$可实现对真实纳什均衡策略的精确恢复。
• 吸收性TBSG技术成功地将经验转移模型的统计依赖性简化为单一参数，从而支持基于浓度的分析。
• 奖励扰动创建了受控的差距，确保经验与真实纳什均衡一致，这对精确恢复至关重要。
• 本工作首次在生成模型设定下为TBSGs建立了依赖差距的样本复杂度界，将Bandits和MDPs中的关键概念成功扩展至该领域。