[论文解读] A Sharp Analysis of Model-based Reinforcement Learning with Self-Play

Qinghua Liu, Tiancheng Yu+2 more|arXiv (Cornell University)|Oct 4, 2020

Reinforcement Learning in Robotics参考文献 26被引用 6

一句话总结

该论文提出了一种基于模型的自博弈算法——乐观纳什值迭代（Nash-VI），用于双人零和马尔可夫博弈，其样本复杂度为 $\widetilde{\mathcal{O}}(H^3 S A B / \epsilon^2)$，与信息论下限仅相差 $\min\{A,B\}$ 因子，达到最优。该方法在性能上优于以往基于模型的方法，并在效率上匹配或超越了当前最先进的无模型方法，同时输出单一马尔可夫策略，相较于现有无模型方法产生的复杂嵌套策略混合，更具实用性。

ABSTRACT

Model-based algorithms -- algorithms that explore the environment through building and utilizing an estimated model -- are widely used in reinforcement learning practice and theoretically shown to achieve optimal sample efficiency for single-agent reinforcement learning in Markov Decision Processes (MDPs). However, for multi-agent reinforcement learning in Markov games, the current best known sample complexity for model-based algorithms is rather suboptimal and compares unfavorably against recent model-free approaches. In this paper, we present a sharp analysis of model-based self-play algorithms for multi-agent Markov games. We design an algorithm -- Optimistic Nash Value Iteration (Nash-VI) for two-player zero-sum Markov games that is able to output an $ε$-approximate Nash policy in $ ilde{\mathcal{O}}(H^3SAB/ε^2)$ episodes of game playing, where $S$ is the number of states, $A,B$ are the number of actions for the two players respectively, and $H$ is the horizon length. This significantly improves over the best known model-based guarantee of $ ilde{\mathcal{O}}(H^4S^2AB/ε^2)$, and is the first that matches the information-theoretic lower bound $Ω(H^3S(A+B)/ε^2)$ except for a $\min\{A,B\}$ factor. In addition, our guarantee compares favorably against the best known model-free algorithm if $\min \{A,B\}=o(H^3)$, and outputs a single Markov policy while existing sample-efficient model-free algorithms output a nested mixture of Markov policies that is in general non-Markov and rather inconvenient to store and execute. We further adapt our analysis to designing a provably efficient task-agnostic algorithm for zero-sum Markov games, and designing the first line of provably sample-efficient algorithms for multi-player general-sum Markov games.

研究动机与目标

• 弥合多智能体强化学习中基于模型与无模型算法在样本复杂度上的差距。
• 为双人零和马尔可夫博弈设计一个可证明高效的基于模型算法，实现最优样本效率。
• 设计一种与任务无关、样本高效的零和博弈算法，并将该框架扩展至多智能体一般和博弈。
• 输出单一马尔可夫策略，避免现有无模型方法产生的复杂嵌套策略混合。

提出的方法

• 提出乐观纳什值迭代（Nash-VI），一种基于模型的自博弈算法，将乐观值迭代与置信区间结合用于策略学习。
• 使用统一的浓度界控制转移和奖励模型中的估计误差，确保对不确定性的鲁棒性。
• 提出一种新颖的分析框架，追踪所有步骤和状态上真实值函数与估计值函数之间的差异。
• 引入一个置信度奖金 $\beta_t$，其大小与访问次数的平方根倒数成正比，以平衡探索与利用。
• 通过相应修改策略更新规则，使算法能够处理纳什均衡与相关均衡。
• 将分析扩展至多智能体一般和马尔可夫博弈，首次建立该设置下的可证明样本高效算法。

实验结果

研究问题

• RQ1 基于模型的算法是否能在双人零和马尔可夫博弈中实现最优样本复杂度？
• RQ2 所提出的算法 Nash-VI 是否匹配样本复杂度的信息论下限？
• RQ3 在考虑策略表示复杂度时，基于模型方法的样本效率与无模型方法相比如何？
• RQ4 该框架能否扩展至与任务无关的一般和多智能体马尔可夫博弈？
• RQ5 是否可能设计一种基于模型的算法，在保持样本效率的同时输出单一马尔可夫策略？

主要发现

• 所提出的 Nash-VI 算法实现了 $\widetilde{\mathcal{O}}(H^3 S A B / \epsilon^2)$ 的样本复杂度，与信息论下限 $\Omega(H^3 S (A+B) / \epsilon^2)$ 仅相差 $\min\{A,B\}$ 因子，达到最优。
• 该样本复杂度显著优于先前基于模型的最佳保证 $\widetilde{\mathcal{O}}(H^4 S^2 A B / \epsilon^2)$。
• 当 $\min\{A,B\} = o(H^3)$ 时，该算法在性能上优于目前已知的最佳无模型方法 Nash V-Learning，表明在某些情形下具有更高的样本效率。
• Nash-VI 输出单一马尔可夫策略，而无模型方法产生的是非马尔可夫且更难存储和执行的嵌套策略混合。
• 分析被进一步扩展，用于设计一种与任务无关的零和博弈算法，并首次建立多智能体一般和马尔可夫博弈下的可证明样本高效算法。
• 理论保证同时适用于纳什均衡与相关均衡，基于统一浓度界和基于归纳法的值函数估计误差界。