[论文解读] Is Plug-in Solver Sample-Efficient for Feature-based Reinforcement Learning?

Qiwen Cui, Lin F. Yang|arXiv (Cornell University)|Oct 12, 2020

Reinforcement Learning in Robotics参考文献 41被引用 6

一句话总结

该论文证明，在锚定状态假设下，基于特征的强化学习中，插件求解器方法——即从生成模型构建经验模型并在其上进行规划——具有样本效率。论文证明了最小最大样本复杂度为 $ O(K/(1-\bar{\gamma})^3\epsilon^2) $，其中 $ K $ 为特征维数，与状态空间和动作空间大小无关，表明在线性函数逼近的马尔可夫决策过程（MDPs）中实现了接近最优的样本效率。

ABSTRACT

It is believed that a model-based approach for reinforcement learning (RL) is the key to reduce sample complexity. However, the understanding of the sample optimality of model-based RL is still largely missing, even for the linear case. This work considers sample complexity of finding an $ε$-optimal policy in a Markov decision process (MDP) that admits a linear additive feature representation, given only access to a generative model. We solve this problem via a plug-in solver approach, which builds an empirical model and plans in this empirical model via an arbitrary plug-in solver. We prove that under the anchor-state assumption, which implies implicit non-negativity in the feature space, the minimax sample complexity of finding an $ε$-optimal policy in a $γ$-discounted MDP is $O(K/(1-γ)^3ε^2)$, which only depends on the dimensionality $K$ of the feature space and has no dependence on the state or action space. We further extend our results to a relaxed setting where anchor-states may not exist and show that a plug-in approach can be sample efficient as well, providing a flexible approach to design model-based algorithms for RL.

研究动机与目标

• 研究基于插件求解器的模型化强化学习是否在基于特征的MDP中实现接近最优的样本复杂度。
• 填补模型化强化学习与函数逼近结合时的理论理解空白，特别是在线性特征设置下。
• 建立使用生成模型和插件规划寻找 $ \epsilon $-最优策略的最小最大样本复杂度边界。
• 将结果从锚定状态假设扩展到更一般的特征条件。

提出的方法

• 提出一种插件求解器方法：从生成模型中估计转移模型，并使用任意求解器在经验模型中进行规划。
• 引入辅助MDP以近似值函数，利用值函数位于一维流形上的事实。
• 使用Hoeffding不等式和集中不等式控制转移矩阵估计误差。
• 利用锚定状态假设确保特征空间中的非负性，从而获得更紧的泛化边界。
• 通过对参数集进行离散化，以界定真实值函数与经验值函数之间的偏差。
• 通过递归应用贝尔曼算子和压缩论证推导样本复杂度边界。

实验结果

研究问题

• RQ1 在MDP中，基于特征的强化学习是否采用插件求解器方法具有样本效率？
• RQ2 在锚定状态假设下，寻找 $ \epsilon $-最优策略的最小最大样本复杂度是多少？
• RQ3 当不存在锚定状态时，插件方法是否仍能保持样本效率？
• RQ4 样本复杂度如何随特征维数 $ K $、折扣因子 $ \gamma $ 和误差容限 $ \epsilon $ 变化？
• RQ5 该分析能否扩展到有限horizon MDP和双人随机博弈？

主要发现

• 在锚定状态假设下，寻找 $ \epsilon $-最优策略的最小最大样本复杂度为 $ O(K/(1-\gamma)^3\epsilon^2) $，与状态空间和动作空间大小无关。
• 样本复杂度仅依赖于特征维数 $ K $、折扣因子 $ \gamma $ 和期望精度 $ \epsilon $。
• 插件方法在样本复杂度上达到最小最大最优性，与理论下界仅相差对数因子。
• 在不依赖锚定状态的宽松设定下，样本复杂度为 $ \widetilde{O}(K \cdot \text{poly}(1/(1-\gamma)))/\epsilon^2 $，仍具高效性和可扩展性。
• 辅助MDP技术成功打破了函数逼近设置下阻碍标准分析的统计依赖性。
• 结果已扩展至有限horizon MDP和双人轮流制随机博弈，展现出广泛适用性。