[论文解读] Infinite-Horizon Offline Reinforcement Learning with Linear Function Approximation: Curse of Dimensionality and Algorithm

Lin Chen, Bruno Scherrer+1 more|arXiv (Cornell University)|Mar 17, 2021

Reinforcement Learning in Robotics参考文献 28被引用 4

一句话总结

本文为具有线性函数逼近的无限时域离线强化学习建立了基本的样本复杂度下界，表明当 $d\gamma^2 > 1$ 时，样本复杂度对维度 $d$ 呈指数依赖；并提出了在低分布偏移假设下实现多项式样本复杂度的算法，从而在有利条件下解决了维度灾难问题。

ABSTRACT

In this paper, we investigate the sample complexity of policy evaluation in infinite-horizon offline reinforcement learning (also known as the off-policy evaluation problem) with linear function approximation. We identify a hard regime $dγ^{2}>1$, where $d$ is the dimension of the feature vector and $γ$ is the discount rate. In this regime, for any $q\in[γ^{2},1]$, we can construct a hard instance such that the smallest eigenvalue of its feature covariance matrix is $q/d$ and it requires $Ω\left(\frac{d}{γ^{2}\left(q-γ^{2} ight)\varepsilon^{2}}\exp\left(Θ\left(dγ^{2} ight) ight) ight)$ samples to approximate the value function up to an additive error $\varepsilon$. Note that the lower bound of the sample complexity is exponential in $d$. If $q=γ^{2}$, even infinite data cannot suffice. Under the low distribution shift assumption, we show that there is an algorithm that needs at most $O\left(\max\left\{ \frac{\left\Vert θ^π ight\Vert _{2}^{4}}{\varepsilon^{4}}\log\frac{d}δ,\frac{1}{\varepsilon^{2}}\left(d+\log\frac{1}δ ight) ight\} ight)$ samples ($θ^π$ is the parameter of the policy in linear function approximation) and guarantees approximation to the value function up to an additive error of $\varepsilon$ with probability at least $1-δ$.

研究动机与目标

• 理解在无限时域设置下，具有线性函数逼近的离线强化学习的基本样本复杂度极限。
• 识别出样本复杂度在特征维度 $d$ 上呈指数级增长的困难情形。
• 建立一个依赖于特征协方差矩阵最小特征值和折扣因子 $\gamma$ 的紧致样本复杂度下界。
• 在低分布偏移假设下设计一个可证明样本高效的算法，确保样本复杂度为多项式。
• 通过证明困难实例违反低分布偏移条件，从而调和下界与上界之间的矛盾。

提出的方法

• 构建了一个用于离线策略评估的困难实例，其中特征协方差矩阵的最小特征值为 $q/d$，其中任意 $q \in [\gamma^2, 1]$。
• 推导出 $\varepsilon$-准确值函数逼近所需的样本复杂度下界为 $\Omega\left(\frac{d}{\gamma^2(q - \gamma^2)\varepsilon^2}\exp(\Theta(d\gamma^2))\right)$。
• 在低分布偏移假设下引入最小二乘策略评估（LSPE）算法。
• 通过贝尔曼算子和特征协方差矩阵的递归误差分解分析 LSPE 算法。
• 利用集中不等式和谱界控制估计误差，借助低分布偏移确保特征矩阵条件良好。
• 推导出在高概率 $1 - \delta$ 下的样本复杂度上界为 $O\left(\max\left\{\frac{\|\theta^\pi\|_2^4}{\varepsilon^4}\log\frac{d}{\delta}, \frac{1}{\varepsilon^2}(d + \log\frac{1}{\delta})\right\}\right)$。

实验结果

研究问题

• RQ1 在无限时域设置下，具有线性函数逼近的离线强化学习的基本样本复杂度极限是什么？
• RQ2 特征协方差矩阵的最小特征值如何影响离线策略评估中的样本复杂度？
• RQ3 在何种条件下可以避免具有线性函数逼近的离线强化学习中的维度灾难？
• RQ4 能否在如低分布偏移这样的合理假设下设计出一个可证明高效的算法？
• RQ5 下界与上界之间是否存在差距？若有，何种结构假设可解决该差距？

主要发现

• 当 $d\gamma^2 > 1$ 时，具有线性函数逼近的离线策略评估的样本复杂度至少为 $\Omega\left(\frac{d}{\gamma^2(q - \gamma^2)\varepsilon^2}\exp(\Theta(d\gamma^2))\right)$，其对 $d$ 呈指数依赖。
• 若特征协方差矩阵的最小特征值为 $\gamma^2/d$，即使数据无限多也无法保证值函数逼近的准确性，这一结果与先前工作一致。
• 在低分布偏移假设下，LSPE 算法实现了上界 $O\left(\max\left\{\frac{\|\theta^\pi\|_2^4}{\varepsilon^4}\log\frac{d}{\delta}, \frac{1}{\varepsilon^2}(d + \log\frac{1}{\delta})\right\}\right)$ 的样本复杂度。
• 当 $\|\theta^\pi\|_2 \leq O(\sqrt{d})$ 时，样本复杂度降低为 $O\left(\frac{d^2}{\varepsilon^4}\log\frac{d}{\delta}\right)$，其对 $d$ 和 $1/\varepsilon$ 呈多项式依赖。
• 为达到下界而构造的困难实例不满足低分布偏移假设，从而确保了下界与上界的一致性。
• 在 $d\gamma^2 > 1$ 的情形下，下界中的指数依赖是不可避免的，表明线性函数逼近在高维离线强化学习中存在根本性局限。