[论文解读] Bidirectional Model-based Policy Optimization

Hang Lai, Jian Shen+2 more|arXiv (Cornell University)|Jul 4, 2020

Reinforcement Learning in Robotics被引用 12

一句话总结

该论文提出了一种新型基于模型的强化学习方法——双向模型策略优化（BMPO），通过联合使用前向和后向动力学模型生成双向轨迹，从而提升样本效率和渐近性能。通过对称地传播误差以减少模型误差的累积，BMPO在回报差异上实现了更紧的理论边界，并在连续控制基准测试中优于当前最先进方法。

ABSTRACT

Model-based reinforcement learning approaches leverage a forward dynamics model to support planning and decision making, which, however, may fail catastrophically if the model is inaccurate. Although there are several existing methods dedicated to combating the model error, the potential of the single forward model is still limited. In this paper, we propose to additionally construct a backward dynamics model to reduce the reliance on accuracy in forward model predictions. We develop a novel method, called Bidirectional Model-based Policy Optimization (BMPO) to utilize both the forward model and backward model to generate short branched rollouts for policy optimization. Furthermore, we theoretically derive a tighter bound of return discrepancy, which shows the superiority of BMPO against the one using merely the forward model. Extensive experiments demonstrate that BMPO outperforms state-of-the-art model-based methods in terms of sample efficiency and asymptotic performance.

研究动机与目标

• 为解决基于模型的强化学习中因前向动力学模型不准确而导致的误差累积问题。
• 通过引入后向动力学模型以实现反向轨迹生成，降低对前向模型准确性的依赖。
• 通过双向轨迹生成提升连续控制任务中的样本效率和渐近性能。
• 在理论上建立比单向基于模型方法更紧的回报差异边界。
• 通过实证验证双向建模相较于现有最先进基于模型强化学习方法的优越性。

提出的方法

• 提出一种双向轨迹生成策略，利用前向和后向动力学模型，从已观测状态向两个时间方向生成轨迹。
• 引入后向动力学模型，用于在给定当前状态和动作时预测前驱状态，从而支持反向轨迹生成。
• 采用状态采样策略，优先选择高价值状态进行双向轨迹生成，以提升策略优化效率。
• 在与环境交互过程中引入模型预测控制（MPC）以优化动作选择。
• 使用最大似然估计（MLE）训练后向策略，消融实验表明基于生成对抗网络（GAN）的训练方式稳定性较差。
• 推导出回报差异的理论边界，其紧致性优于单向方法，证明了双向建模的优势。

实验结果

研究问题

• RQ1 与单向前向轨迹生成相比，双向轨迹是否能有效减少基于模型强化学习中的误差累积？
• RQ2 在连续控制任务中，使用后向动力学模型是否能提升样本效率和渐近性能？
• RQ3 BMPO的理论回报差异边界与MBPO及其他仅使用前向模型的方法相比如何？
• RQ4 不同设计选择（如后向策略损失、MPC使用、轨迹长度）对BMPO性能有何影响？
• RQ5 BMPO对超参数（如基于价值的采样权重β和后向轨迹长度k₁）的敏感性如何？

主要发现

• 在连续控制基准测试中，BMPO的样本效率和渐近性能均优于当前最先进方法（包括MBPO）。
• 双向轨迹策略显著降低了模型误差累积，如图4b所示，其误差增长速度慢于仅使用前向模型的轨迹。
• 消融实验表明，仅使用前向或后向模型会显著降低性能，而同时使用两者则表现更优；移除MPC仅导致性能轻微下降。
• 当后向轨迹长度k₁与前向长度k₂相等时，性能达到最优，任一方向的偏离均会降低性能。
• BMPO对超参数β具有鲁棒性，性能随β增加而提升，但在极高值时开始下降。
• 理论分析证实，BMPO的回报差异边界比单向方法更紧，从理论上验证了其优越性。