[论文解读] Exponential Lower Bounds for Batch Reinforcement Learning: Batch RL can be Exponentially Harder than Online RL

Andrea Zanette|arXiv (Cornell University)|Dec 14, 2020

Reinforcement Learning in Robotics参考文献 55被引用 18

一句话总结

本文在线性函数逼近设置下建立了批量强化学习（batch RL）的指数级信息论下界，表明即使在奖励、转移概率和最优数据分布完全已知的情况下，批量RL相较于在线RL仍存在指数级困难。核心结果是批量与在线学习之间存在指数级分离，揭示了仅使用离线数据学习近似最优策略或评估目标策略的根本局限性，即便在可实现性和精确反馈等强假设下亦然。

ABSTRACT

Several practical applications of reinforcement learning involve an agent learning from past data without the possibility of further exploration. Often these applications require us to 1) identify a near optimal policy or to 2) estimate the value of a target policy. For both tasks we derive \emph{exponential} information-theoretic lower bounds in discounted infinite horizon MDPs with a linear function representation for the action value function even if 1) \emph{realizability} holds, 2) the batch algorithm observes the exact reward and transition \emph{functions}, and 3) the batch algorithm is given the \emph{best} a priori data distribution for the problem class. Our work introduces a new `oracle + batch algorithm' framework to prove lower bounds that hold for every distribution. The work shows an exponential separation between batch and online reinforcement learning.

研究动机与目标

• 探究在强假设下，批量强化学习（RL）是否相较于在线RL存在根本性限制。
• 确定当给定最佳可能的数据分布时，批量算法能否高效学习近似最优策略或评估目标策略。
• 在可实现性和精确反馈的前提下，为所有批量数据分布建立信息论下界。
• 在无限时域MDP中，通过线性函数逼近证明批量与在线RL之间的指数级分离。
• 形式化提出一种新颖的“预言机 + 批量算法”框架，以推导出与数据分布无关的强下界。

提出的方法

• 引入一种“预言机 + 批量算法”框架，其中预言机预先选择最优数据分布，批量算法基于该数据学习。
• 构造一类具有单个关键状态和线性参数化值函数的MDP，以生成困难实例。
• 在动作空间中使用超球帽编码最优策略的未知方向，使其在样本不足时难以识别。
• 利用一个辅助引理：对于任一单位向量，至少存在一个标准基向量，其内积绝对值不小于 $1/\sqrt{d}$，从而实现对最优动作的检测。
• 通过证明任何批量算法必须进行指数级多的查询才能实现 $1/\sqrt{d}$ 的次优性界，从而建立下界。
• 证明即使在精确反馈和最优数据条件下，批量算法仍无法在指数级样本复杂度下可靠识别正确策略或值函数。

实验结果

研究问题

• RQ1 当给定最佳可能的数据分布时，即使具备精确反馈和可实现性，批量RL能否实现近似最优策略的高效学习？
• RQ2 在具有线性函数逼近的设置下，批量与在线RL之间是否存在根本性的指数级差距？
• RQ3 能否建立对所有数据分布均成立的信息论下界，而不仅限于最坏情况？
• RQ4 动作空间的结构（如超球帽）是否导致策略识别和离线策略评估的固有困难？
• RQ5 预言机框架能否用于证明与数据分布无关的强下界？

主要发现

• 本文在批量RL中为离线策略评估和最优策略识别建立了指数级下界，即使算法可访问精确的奖励和转移函数。
• 即使在最优先验数据分布下，批量算法仍需在特征维度 $d$ 上呈指数级的样本数量，才能实现 $1/\sqrt{d}$ 的次优性差距。
• 下界在可实现性和精确反馈下依然成立，表明困难并非源于模型误设或数据噪声。
• 通过证明在线算法可通过自适应查询在多项式时间内识别最优策略，从而证明了批量与在线RL之间的指数级分离。
• 结果表明，由于离线数据固有的信息论限制，即使在强假设下，批量RL也无法在一般情况下实现高效化。