[论文解读] Finite Sample Analysis of Minimax Offline Reinforcement Learning: Completeness, Fast Rates and First-Order Efficiency

Masatoshi Uehara, Masaaki Imaizumi+4 more|arXiv (Cornell University)|Feb 5, 2021

Reinforcement Learning in Robotics参考文献 51被引用 14

一句话总结

本文针对离策略评估（OPE）的最小最大离线强化学习提供了有限样本分析，在可实现性和完备性假设下，建立了$ q $-函数和边际重要性权重的快速收敛速率。论文引入了新颖的完备性条件，使得在非表格型设置下实现一阶效率的OPE成为可能，其渐近方差主项中的系数达到最小值。

ABSTRACT

We offer a theoretical characterization of off-policy evaluation (OPE) in reinforcement learning using function approximation for marginal importance weights and $q$-functions when these are estimated using recent minimax methods. Under various combinations of realizability and completeness assumptions, we show that the minimax approach enables us to achieve a fast rate of convergence for weights and quality functions, characterized by the critical inequality \citep{bartlett2005}. Based on this result, we analyze convergence rates for OPE. In particular, we introduce novel alternative completeness conditions under which OPE is feasible and we present the first finite-sample result with first-order efficiency in non-tabular environments, i.e., having the minimal coefficient in the leading term.

研究动机与目标

• 为离线强化学习中离策略评估（OPE）的最小最大估计器提供有限样本理论分析。
• 在可实现性和完备性假设下，建立最小最大估计$ q $-函数和边际重要性权重的快速收敛速率。
• 引入新的完备性条件，以确保在非表格型设置下OPE的可行性。
• 在这些条件下实现OPE的一阶效率——即最小化渐近方差主项中的系数。
• 通过引入稳定项的最小最大框架，统一$ q $-函数与$ w $-函数估计的分析。

提出的方法

• 在具有评估策略$\pi^e$、行为策略$\pi^b$和折扣回报$J$的马尔可夫决策过程（MDP）中形式化OPE。
• 通过函数类与裁判之间的零和博弈，使用最小最大估计学习$ q $-函数和$ w $-函数（重要性权重）。
• 在最小最大目标中引入稳定项，以提升泛化能力和稳定性。
• 分析由$ w $和$ q $函数乘积构成的函数类$\mathcal{G}$的覆盖数，以界联合函数空间的复杂度。
• 应用神经网络覆盖数界（ReLU及ReLU类激活函数）以及通过Rademacher复杂度推导的一般化误差界。
• 利用关键不等式框架（Bartlett等，2005）推导有限样本收敛速率，将估计误差与覆盖数及样本量联系起来。

实验结果

研究问题

• RQ1 在何种条件下，$ q $-函数和$ w $-函数的最小最大估计器可在离线强化学习中实现快速有限样本收敛速率？
• RQ2 哪些新颖的完备性条件能够使非表格型、函数近似设置下的OPE实现可行且高效？
• RQ3 在函数近似下能否实现OPE的一阶效率，即最小化渐近方差主项中的系数？
• RQ4 在最小最大目标中引入稳定项如何影响$ q $-和$ w $-函数估计器的泛化与收敛特性？
• RQ5 通过覆盖数衡量的函数类复杂度在决定OPE的有限样本误差界中起什么作用？

主要发现

• 论文在可实现性和完备性假设下，建立了最小最大估计$ q $-函数和$ w $-函数的快速收敛速率，其速率由关键不等式（Bartlett等，2005）刻画。
• 论文引入了新的完备性条件，确保在非表格型环境中OPE的可行性，将先前结果扩展至函数近似设置。
• 首次在非表格型离线强化学习中实现具有第一阶效率的有限样本结果，即渐近方差主项中的系数被最小化。
• 通过$ N_W N_Q $-覆盖集界定了由$ w $和$ q $函数构成的联合函数类$\mathcal{G}$的覆盖数，误差由$\varepsilon_1$和$\varepsilon_2$-网控制。
• 对于具有ReLU激活的神经网络，覆盖数通过$\log \mathcal{N}(\tau, \mathcal{F}_{NN}, \|\cdot\|_\infty) \leq \Omega \log(\text{poly}(B, L, \Omega)/\tau)$被界住，从而支持有限样本分析。
• 利用Rademacher复杂度界推导一般化误差，表明在所提假设下，最小最大估计器可达到最优收敛速率。