[论文解读] Sample Complexity of Reinforcement Learning using Linearly Combined Model Ensembles

Aditya Modi, Nan Jiang+2 more|arXiv (Cornell University)|Oct 23, 2019

Reinforcement Learning in Robotics参考文献 32被引用 9

一句话总结

该论文提出了一种样本高效的强化学习算法，通过基于状态的线性集成方式组合多个预训练的、可能不准确的模拟器，以近似真实环境。该算法在未知参数数量上实现多项式样本复杂度，且独立于状态空间和动作空间的大小，并在自然假设下提供可证明高效的模型选择，同时建立了样本复杂度的指数下界。

ABSTRACT

Reinforcement learning (RL) methods have been shown to be capable of learning intelligent behavior in rich domains. However, this has largely been done in simulated domains without adequate focus on the process of building the simulator. In this paper, we consider a setting where we have access to an ensemble of pre-trained and possibly inaccurate simulators (models). We approximate the real environment using a state-dependent linear combination of the ensemble, where the coefficients are determined by the given state features and some unknown parameters. Our proposed algorithm provably learns a near-optimal policy with a sample complexity polynomial in the number of unknown parameters, and incurs no dependence on the size of the state (or action) space. As an extension, we also consider the more challenging problem of model selection, where the state features are unknown and can be chosen from a large candidate set. We provide exponential lower bounds that illustrate the fundamental hardness of this problem, and develop a provably efficient algorithm under additional natural assumptions.

研究动机与目标

• 开发一种样本高效的强化学习算法，利用一组预训练的、可能不准确的模拟器的集成来近似真实环境。
• 确保样本复杂度仅依赖于未知参数的数量，而不依赖于状态空间或动作空间的大小。
• 通过在自然假设下提出可证明高效的模型选择算法，解决未知状态特征化这一挑战性问题。
• 在缺乏关于状态特征先验知识的情况下，通过指数下界建立模型选择的样本复杂度基本极限。

提出的方法

• 该方法将真实环境建模为K个基础MDP的状态依赖线性组合，其中系数由状态特征和未知参数决定。
• 采用分层算法，迭代地细化候选特征集，利用子程序（算法1）从组合模型中学习近似最优策略。
• 该算法使用固定数量轨迹的蒙特卡洛滚动，以高置信度估计策略回报。
• 在候选特征集上应用二分查找，按复杂度划分并逐步细化搜索空间。
• 该方法依赖于基础模型组合的线性假设，并利用置信区间指导探索。
• 基于估计回报超过阈值的终止条件，确保以高概率实现近似最优。

实验结果

研究问题

• RQ1 我们能否使用线性组合的预训练、不准确模拟器集合，在独立于状态空间和动作空间大小的样本复杂度下，学习到近似最优策略？
• RQ2 当状态特征未知且必须从大量候选集合中选择时，模型选择的样本复杂度基本极限是什么？
• RQ3 我们能否在自然假设（如真实模型在特征类中可实现）下，设计出可证明高效的模型选择算法？
• RQ4 在基于集成的模型学习中，样本复杂度如何随未知参数数量和时 horizon 的变化而变化？
• RQ5 在无知识模型选择中，MDP的内在局限性是什么，特别是在样本效率方面？

主要发现

• 所提算法在学习价值至少为 v* - ε 的策略时，样本复杂度为 Õ(d*³K²H²/ε² · log d* · log(d*KHN/δ))，其中 d* 为最优特征集的维度。
• 样本复杂度在未知参数数量上为多项式，且独立于状态空间和动作空间的大小。
• 在缺乏关于状态特征先验知识的情况下，为模型选择建立了指数下界，表明无知识选择本质上是困难的。
• 该算法通过在多次迭代和估计步骤中使用联合界，保证以高概率成功，置信度为 1 - δ。
• 该方法对模型不准确性具有鲁棒性，并可通过基于集成的近似，实现从仿真到真实环境的策略迁移。
• 分析表明，该算法的性能仅依赖于最优特征表示的内在维度，而非完整的候选特征集。