[论文解读] Distributionally Robust Model-Based Offline Reinforcement Learning with Near-Optimal Sample Complexity

Laixi Shi, Yuejie Chi|arXiv (Cornell University)|Aug 11, 2022

Reinforcement Learning in Robotics被引用 8

一句话总结

该论文提出了一种分布鲁棒的模型化离线强化学习算法，通过结合鲁棒值迭代与数据驱动的悲观惩罚，实现了近似最优的样本复杂度。在温和的分布偏移假设下，该方法建立了有限样本性能保证，并证明了该界在（有效）时域长度的多项式因子范围内是紧致的。

ABSTRACT

This paper concerns the central issues of model robustness and sample efficiency in offline reinforcement learning (RL), which aims to learn to perform decision making from history data without active exploration. Due to uncertainties and variabilities of the environment, it is critical to learn a robust policy -- with as few samples as possible -- that performs well even when the deployed environment deviates from the nominal one used to collect the history dataset. We consider a distributionally robust formulation of offline RL, focusing on tabular robust Markov decision processes with an uncertainty set specified by the Kullback-Leibler divergence in both finite-horizon and infinite-horizon settings. To combat with sample scarcity, a model-based algorithm that combines distributionally robust value iteration with the principle of pessimism in the face of uncertainty is proposed, by penalizing the robust value estimates with a carefully designed data-driven penalty term. Under a mild and tailored assumption of the history dataset that measures distribution shift without requiring full coverage of the state-action space, we establish the finite-sample complexity of the proposed algorithms. We further develop an information-theoretic lower bound, which suggests that learning RMDPs is at least as hard as the standard MDPs when the uncertainty level is sufficient small, and corroborates the tightness of our upper bound up to polynomial factors of the (effective) horizon length for a range of uncertainty levels. To the best our knowledge, this provides the first provably near-optimal robust offline RL algorithm that learns under model uncertainty and partial coverage.

研究动机与目标

• 解决在模型不确定性和数据有限情况下的离线强化学习中学习鲁棒策略的挑战。
• 在不依赖完整状态-动作空间覆盖的前提下，克服历史数据集中的分布偏移和部分覆盖问题。
• 在有限时域和无限时域设置下均实现近似最优的样本复杂度。
• 为具有KL散度不确定性集的分布鲁棒马尔可夫决策过程提供性能保证。
• 建立紧致的有限样本界，其在信息论上最优，仅在（有效）时域长度的多项式因子范围内存在差异。

提出的方法

• 基于KL散度构建的不确定性集，围绕经验转移模型构建分布鲁棒马尔可夫决策过程（RMDP）。
• 提出DRVI-LCB，一种鲁棒值迭代的悲观变体，通过数据驱动的惩罚项对值估计进行惩罚，以处理不确定性。
• 从离线数据中构建经验名义MDP，确保对分布偏移的鲁棒性。
• 引入一种新颖的数据驱动惩罚项，其大小与状态-动作访问频率的倒数成正比，以实现悲观主义。
• 利用集中不等式和KL散度的性质，推导出策略鲁棒值函数的有限样本界。
• 通过证明信息论下界，建立上界在（有效）时域长度的多项式因子范围内的紧致性。

实验结果

研究问题

• RQ1 我们能否设计一种既对环境分布偏移鲁棒又样本高效的基于模型的离线强化学习算法？
• RQ2 如何有效将悲观主义整合到分布鲁棒值迭代中，以应对数据稀缺问题？
• RQ3 在部分覆盖条件下，学习离线强化学习中鲁棒策略的根本样本复杂度极限是什么？
• RQ4 所提算法的样本复杂度是否近似最优？其与信息论下界相比如何？
• RQ5 在何种数据假设下，该算法能实现有限样本性能保证？

主要发现

• 所提出的DRVI-LCB算法在对历史数据集的分布偏移进行温和测量的假设下，实现了有限样本性能保证，且无需完整覆盖。
• 该算法的样本复杂度近似最优，其上界与信息论下界仅在（有效）时域长度的多项式因子范围内存在差异。
• 信息论下界表明，当不确定性水平较小时，学习RMDP的难度至少与学习标准MDP相当，从而证实了上界的紧致性。
• 数据驱动的惩罚项有效实现了悲观主义，在低数据场景下提升了鲁棒性，且无需事先知晓不确定性集。
• 理论分析证实，即使行为策略仅部分覆盖状态-动作空间，该算法仍保持有效性。
• 结果在有限时域和无限时域设置下均成立，表明其具有广泛适用性。