[论文解读] Information-Theoretic Considerations in Batch Reinforcement Learning

Jing‐Lin Chen, Nan Jiang|arXiv (Cornell University)|May 1, 2019

Reinforcement Learning in Robotics参考文献 45被引用 49

一句话总结

本文分析强化学习中的批量值函数近似，证明信息论极限，并在实现性和完备性下为 FQI 及其极小极大变体提供有限样本保证，并给出对 concentratability 及基于模型的学习与基于值的学习的见解。

ABSTRACT

Value-function approximation methods that operate in batch mode have foundational importance to reinforcement learning (RL). Finite sample guarantees for these methods often crucially rely on two types of assumptions: (1) mild distribution shift, and (2) representation conditions that are stronger than realizability. However, the necessity ("why do we need them?") and the naturalness ("when do they hold?") of such assumptions have largely eluded the literature. In this paper, we revisit these assumptions and provide theoretical results towards answering the above questions, and make steps towards a deeper understanding of value-function approximation.

研究动机与目标

• 动机并正式化在批量RL中分布偏移和表示假设的必要性。
• 从极小极大视角发展贝尔曼误差最小化在批量设置中的观点。
• 给出在实现性与完备性下 FQI 及其极小极大变体的有限样本保证。
• 澄清 concentrability 的作用及其对批量 RL 的样本复杂度的影响。

提出的方法

• 将批量值函数近似表述为一个近似贝尔曼误差的极小极大回归目标。
• 将 FQI 与极小极大目标的一个特例相关联并讨论固定点行为。
• 使用两假设框架（实现性与完备性）推导 FQI 与极小极大变体的有限样本界。
• 推导样本复杂度界: 对 FQI: n = O(C log(|F|/δ) / (ε^2 (1−γ)^4)); 对极小极大方法: n = O(C log(|F||G|/δ) / (ε^2 (1−γ)^4)).
• 将批量学习保证与 concentratability 联系起来，并讨论下界及对基于模型与基于值的方法的影响。

实验结果

研究问题

• RQ1 为什么在批量 RL 中，温和的分布偏移（concentratability）和表示性（实现性/完备性）对有限样本保证是必要的？
• RQ2 FQI 与极小极大变体在实现性与完备性下能否达到多项式样本复杂度？它们的速率如何比较？
• RQ3 当不假设完备性时，信息论考量对存在下界有什么含义？
• RQ4 贝尔曼误差最小化、状态抽象和 PAC 探索等 notions 如何与带函数近似的批量 RL 相关？
• RQ5 在何种条件下，基于模型的 RL 仅靠实现性也能达到多项式样本复杂度？

主要发现

• 在实现性和完备性下，FQI 达到接近最优策略，样本复杂度为 n=O(C log(|F|/δ) / (ε^2 (1−γ)^4)).
• 极小极大变体在实现性和完备性下达到接近最优策略，n=O(C log(|F||G|/δ) / (ε^2 (1−γ)^4))，并且误差呈现更快的 n^{-1/2} 收敛。
• FQI 可以被解释为对极小极大贝尔曼误差目标的近似，在某些条件下具有固定点等价性。
• 论文给出正式下界论证，显示 concentratability 的必要性：若对 MDP 动态没有某种限制，就无法实现多项式样本复杂度。
• 基于模型的 RL 结果表明仅靠实现性就能达到多项式样本复杂度，暗示在函数近似下批量基于模型的与基于值的 RL 之间存在分离。
• 作者讨论 concentratability 低的自然例子，并将结果与状态抽象及相关 RL 文献中的 PAC 探索联系起来。