[论文解读] An Experimental Design Perspective on Model-Based Reinforcement Learning

Viraj Mehta, Biswajit Paria+3 more|arXiv (Cornell University)|Dec 9, 2021

Machine Learning and Algorithms被引用 4

一句话总结

该论文提出了一种数据高效的强化学习算法，利用贝叶斯最优实验设计来选择最具有信息量的状态-动作对进行查询，以应对昂贵的转移函数。通过最大化关于最优策略轨迹的期望信息增益，该方法在连续控制和等离子体控制任务中，相较于基于模型的基线方法实现了高达1,000倍的样本效率提升，相较于无模型方法实现了10⁵倍的提升。

ABSTRACT

In many practical applications of RL, it is expensive to observe state transitions from the environment. For example, in the problem of plasma control for nuclear fusion, computing the next state for a given state-action pair requires querying an expensive transition function which can lead to many hours of computer simulation or dollars of scientific research. Such expensive data collection prohibits application of standard RL algorithms which usually require a large number of observations to learn. In this work, we address the problem of efficiently learning a policy while making a minimal number of state-action queries to the transition function. In particular, we leverage ideas from Bayesian optimal experimental design to guide the selection of state-action queries for efficient learning. We propose an acquisition function that quantifies how much information a state-action pair would provide about the optimal solution to a Markov decision process. At each iteration, our algorithm maximizes this acquisition function, to choose the most informative state-action pair to be queried, thus yielding a data-efficient RL approach. We experiment with a variety of simulated continuous control problems and show that our approach learns an optimal policy with up to $5$ -- $1,000 imes$ less data than model-based RL baselines and $10^3$ -- $10^5 imes$ less data than model-free RL baselines. We also provide several ablated comparisons which point to substantial improvements arising from the principled method of obtaining data.

研究动机与目标

• 解决在每次状态转移查询在计算或经济上均昂贵的环境中，强化学习的高样本复杂度问题。
• 开发一种数据选择策略，基于其对学习最优策略的预期贡献来优先选择查询，而不仅仅是改进动力学模型。
• 将贝叶斯最优实验设计扩展至基于模型的强化学习中的连续、高维马尔可夫决策过程。
• 在核聚变等离子体控制等实际应用中实现高效学习，其中模拟成本高昂。
• 在保持对挑战性环境鲁棒性的前提下，超越现有的基于模型和无模型强化学习基线方法，在样本效率方面表现更优。

提出的方法

• 提出一种基于关于最优策略轨迹的期望信息增益（EIG）的新获取函数，记为EIGτ*。
• 利用动力学模型的后验样本，估计新查询对最优策略轨迹不确定性减少的期望值。
• 选择使EIGτ*最大化的状态-动作对，以指导在转移查询强化学习（TQRL）设置下对转移函数的序列查询。
• 采用贝叶斯动力学模型（当前实现中为高斯过程）来量化不确定性，并指导查询选择。
• 将获取函数集成到基于模型的强化学习框架中，通过最少的查询迭代改进策略和动力学估计。
• 使用基于MPC的后验样本滚动预测，估计每个潜在查询对策略性能的影响。

实验结果

研究问题

• RQ1 关于最优策略轨迹的期望信息增益能否作为数据高效强化学习的有效获取函数？
• RQ2 与标准的MBRL和MFRL基线相比，基于EIGτ*选择查询是否能显著降低样本复杂度？
• RQ3 该方法能否在多样化的连续控制任务中泛化，包括高维和具有挑战性的环境（如熔岩路径和等离子体控制）？
• RQ4 与替代获取函数（如关于动力学的EIGT）相比，EIGτ*在数据效率和策略性能方面表现如何？
• RQ5 在获取计算过程中使用次优策略生成目标轨迹时，该方法的有效性在多大程度上仍能保持？

主要发现

• 所提出的BARL算法在连续控制任务上，相较于基于模型的强化学习基线，样本复杂度最高可降低1,000倍。
• BARL相较于无模型强化学习基线，将数据需求减少了10³–10⁵倍，展现出卓越的数据效率。
• 在具有挑战性的熔岩路径环境中，BARL仅通过少数几次查询便成功学习到安全策略，而其他方法因不稳定性与探索能力差而失败。
• BARL通过聚焦于与策略相关区域的查询，而非均匀探索状态空间，从而优于EIGT和MPC基线。
• 尽管在随机数据上的泛化误差更差，BARL仍实现了更优的控制性能，因为它优先选择能提升策略而非仅改进动力学建模的数据。
• 消融实验表明，EIGτ*在高维或非光滑环境（如抓取器和β追踪任务）中，相较于EIGT和基于MPC的策略更具有效性。