[论文解读] Sample-Optimal Parametric Q-Learning with Linear Transition Models.

Lin F. Yang, Mengdi Wang|arXiv (Cornell University)|Feb 13, 2019

Reinforcement Learning in Robotics参考文献 16被引用 10

一句话总结

该论文提出了一种针对具有线性转移模型的MDP的样本最优参数化Q-learning算法，通过基于特征的表示和方差缩减技术，实现了$\tilde{O}(K/\tau^2(1-\gamma)^3)$的样本复杂度，其中$K$为特征维度，$\gamma$为折扣因子。通过建立匹配的信息论下界，证明了该方法在多对数因子范围内的样本效率最优。

ABSTRACT

Consider a Markov decision process (MDP) that admits a set of state-action features, which can linearly express the process's probabilistic transition model. We propose a parametric Q-learning algorithm that finds an approximate-optimal policy using a sample size proportional to the feature dimension $K$ and invariant with respect to the size of the state space. To further improve its sample efficiency, we exploit the monotonicity property and intrinsic noise structure of the Bellman operator, provided the existence of anchor state-actions that imply implicit non-negativity in the feature space. We augment the algorithm using techniques of variance reduction, monotonicity preservation, and confidence bounds. It is proved to find a policy which is $\epsilon$-optimal from any initial state with high probability using $\widetilde{O}(K/\epsilon^2(1-\gamma)^3)$ sample transitions for arbitrarily large-scale MDP with a discount factor $\gamma\in(0,1)$. A matching information-theoretical lower bound is proved, confirming the sample optimality of the proposed method with respect to all parameters (up to polylog factors).

研究动机与目标

• 开发一种参数化Q-learning算法，实现在具有线性转移模型的大规模MDP中的样本效率。
• 将样本复杂度降低至仅与特征维度$K$相关，而非状态空间大小。
• 利用贝尔曼算子中的单调性和噪声结构以提升样本效率。
• 通过建立匹配的信息论下界，证明所提方法在多对数因子范围内样本最优。

提出的方法

• 该算法采用线性函数逼近方法对转移模型进行参数化，使用维度为$K$的状态-动作特征。
• 应用方差缩减技术以稳定学习过程并提升样本效率。
• 通过利用诱导特征空间中非负性的锚点状态-动作，强制保持单调性。
• 引入置信区间以确保学习策略以高概率达到$\varepsilon$-最优。
• 结合上述各组件，实现$\tilde{O}(K/\varepsilon^2(1-\gamma)^3)$的样本复杂度。
• 理论分析通过建立匹配下界，证明了该方法的最优性。

实验结果

研究问题

• RQ1 在具有线性转移模型的MDP中，参数化Q-learning能否实现与状态空间大小无关的样本复杂度？
• RQ2 如何利用贝尔曼算子的单调性和内在噪声结构来提升样本效率？
• RQ3 在该类MDP中，学习$\varepsilon$-最优策略的根本样本复杂度极限是什么？
• RQ4 方差缩减与置信区间技术能否有效结合以确保高概率性能保证？
• RQ5 所提算法的样本复杂度是否在多对数因子范围内达到最优？

主要发现

• 所提算法以高概率实现$\varepsilon$-最优策略学习，所需样本转移数为$\tilde{O}(K/\varepsilon^2(1-\gamma)^3)$。
• 样本复杂度仅与特征维度$K$相关，而不依赖于状态空间的大小。
• 该方法的样本复杂度在信息论上达到最优，多对数因子范围内与下界匹配，已通过匹配下界验证。
• 成功利用了贝尔曼算子的单调性与内在噪声结构，以提升样本效率。
• 方差缩减与置信区间技术确保了在高概率保证下的稳定可靠学习。
• 该算法在任意大规模MDP及任意折扣因子$\gamma \in (0,1)$下均保持样本最优性。