[论文解读] Fast Rates for the Regret of Offline Reinforcement Learning

Yichun Hu, Nathan Kallus+1 more|arXiv (Cornell University)|Jan 31, 2021

Advanced Bandit Algorithms Research参考文献 36被引用 4

一句话总结

本文通过证明从质量函数估计导出的策略的遗憾与估计点误差的指数化成正比，建立了离线强化学习中的快速遗憾收敛速率，从而在线性MDP中实现$O(1/n)$速率，在表格型MDP中实现$/\exp(-\bigOmega(n))$速率。分析利用了问题特定的噪声水平（边界条件），并扩展至一般函数逼近的$L_p$-基于保证。

ABSTRACT

We study the regret of reinforcement learning from offline data generated by a fixed behavior policy in an infinite-horizon discounted Markov decision process (MDP). While existing analyses of common approaches, such as fitted $Q$-iteration (FQI), suggest a $O(1/\sqrt{n})$ convergence for regret, empirical behavior exhibits \emph{much} faster convergence. In this paper, we present a finer regret analysis that exactly characterizes this phenomenon by providing fast rates for the regret convergence. First, we show that given any estimate for the optimal quality function $Q^*$, the regret of the policy it defines converges at a rate given by the exponentiation of the $Q^*$-estimate's pointwise convergence rate, thus speeding it up. The level of exponentiation depends on the level of noise in the \emph{decision-making} problem, rather than the estimation problem. We establish such noise levels for linear and tabular MDPs as examples. Second, we provide new analyses of FQI and Bellman residual minimization to establish the correct pointwise convergence guarantees. As specific cases, our results imply $O(1/n)$ regret rates in linear cases and $\exp(-Ω(n))$ regret rates in tabular cases. We extend our findings to general function approximation by extending our results to regret guarantees based on $L_p$-convergence rates for estimating $Q^*$ rather than pointwise rates, where $L_2$ guarantees for nonparametric $Q^*$-estimation can be ensured under mild conditions.

研究动机与目标

• 解释理论$O(1/\sqrt{n})$遗憾界与离线RL中经验快速收敛之间的差异。
• 将遗憾收敛速率与决策问题中的噪声水平（边界条件）相关联，而不仅依赖于估计误差。
• 为基于值的离线RL方法（如FQI和改进的Bellman残差最小化）提供更紧致的遗憾界。
• 将分析从逐点误差扩展至一般函数逼近的$L_p$-范数保证，特别是$L_2$范数。
• 统一快速速率分析在分类、强化学习与经验风险最小化中的应用。

提出的方法

• 提出一种新颖的遗憾界，其依赖于$Q^*$估计的逐点估计误差的指数化，其中指数由问题的边界条件决定。
• 使用通过次优动作中第二个最佳动作的子最优性在零附近的密度定义的边界条件，以捕捉问题特定的噪声水平。
• 应用性能差异引理和马尔可夫不等式，将策略遗憾以$Q^*$估计误差和边界参数$\delta_0$的形式进行有界。
• 在完备性和特征覆盖性假设下，为FQI和改进的Bellman残差最小化建立逐点收敛保证。
• 将结果扩展至$Q^*$估计的$L_p$-范数收敛，表明在温和条件下，$L_2$-保证可通过相同的指数化机制导致快速遗憾速率。
• 结合了快速速率分类（Audibert & Tsybakov, 2007）、强化学习理论（Agarwal et al., 2020a）和经验风险最小化（Wainwright, 2019）的技术。

实验结果

研究问题

• RQ1 为何如FQI等离线RL方法在实践中表现出快于$O(1/\sqrt{n})$的遗憾收敛速率，尽管理论界表明为$O(1/\sqrt{n})$？
• RQ2 理论与经验遗憾速率之间的差距是否可由问题特定的噪声水平（如边界条件）解释？
• RQ3 如何精确刻画$Q^*$估计的逐点收敛速率与由此导出的贪婪策略遗憾之间的关系？
• RQ4 在完备性和特征覆盖性等标准假设下，能否为FQI和改进的Bellman残差最小化建立快速遗憾速率？
• RQ5 如何将分析扩展至一般函数逼近的$Q^*$估计的$L_p$-范数收敛，特别是$L_2$范数？

主要发现

• 从$Q^*$估计导出的贪婪策略的遗憾收敛速率由该估计误差的指数化决定，其中指数取决于问题的边界条件。
• 在标准假设下，线性MDP中的FQI和改进的Bellman残差最小化实现$O(1/n)$遗憾速率。
• 在表格型MDP中，遗憾以$\exp(-\Omega(n))$的指数速率收敛，远快于$O(1/\sqrt{n})$。
• 边界条件在一般线性和表格型MDP中通常较强，即使估计误差仅为$O(1/\sqrt{n})$，也能实现快速遗憾速率。
• 对于一般函数逼近，在温和条件下$Q^*$估计的$L_2$-收敛可通过相同的指数化机制导致快速遗憾速率。
• 该分析统一了分类中的快速速率技术与强化学习及ERM，为任何具有逐点或$L_p$-基于$Q^*$估计保证的基于值的离线RL方法提供适用框架。