[论文解读] Model-based Policy Optimization with Unsupervised Model Adaptation

Jian Shen, Han Zhao+2 more|arXiv (Cornell University)|Oct 19, 2020

Reinforcement Learning in Robotics参考文献 30被引用 6

一句话总结

本文提出 AMPO，一种基于模型的强化学习框架，通过无监督模型自适应显式减少真实数据与仿真数据之间的分布差异。通过最小化真实数据与仿真数据特征分布之间的积分概率度量（IPM），特别是使用 Wassertein-1 距离，AMPO 改进了策略优化，并在连续控制基准任务上实现了最先进水平的样本效率。

ABSTRACT

Model-based reinforcement learning methods learn a dynamics model with real data sampled from the environment and leverage it to generate simulated data to derive an agent. However, due to the potential distribution mismatch between simulated data and real data, this could lead to degraded performance. Despite much effort being devoted to reducing this distribution mismatch, existing methods fail to solve it explicitly. In this paper, we investigate how to bridge the gap between real and simulated data due to inaccurate model estimation for better policy optimization. To begin with, we first derive a lower bound of the expected return, which naturally inspires a bound maximization algorithm by aligning the simulated and real data distributions. To this end, we propose a novel model-based reinforcement learning framework AMPO, which introduces unsupervised model adaptation to minimize the integral probability metric (IPM) between feature distributions from real and simulated data. Instantiating our framework with Wasserstein-1 distance gives a practical model-based approach. Empirically, our approach achieves state-of-the-art performance in terms of sample efficiency on a range of continuous control benchmark tasks.

研究动机与目标

• 显式解决基于模型的强化学习（MBRL）中的分布差异问题，该问题因模型在仿真数据上的预测不准确而降低策略性能。
• 开发一种方法，无需标注数据或奖励函数知识，即可对齐真实与仿真数据的特征分布。
• 通过无监督自适应提升模型生成轨迹的保真度，从而在 MBRL 中提高样本效率。
• 提供一个理论基础坚实的框架，通过对齐真实与仿真数据分布，最大化期望回报的下界。
• 将模型自适应集成到现有 MBRL 框架（如 MBPO）中，实现在实际应用中有效且稳定的分布对齐。

提出的方法

• 推导真实环境中期望回报的下界，从而通过分布对齐激励下界最大化策略。
• 提出 AMPO（自适应增强的基于模型策略优化），一种新颖的 MBRL 框架，通过无监督模型自适应最小化真实与仿真数据特征分布之间的积分概率度量（IPM）。
• 将 Wassertein-1 距离作为 IPM 的具体实例，用于度量并最小化潜在空间中真实与仿真数据之间的分布差异。
• 仅使用真实数据训练解码器，以确保特征表示的无偏性，同时通过模型自适应过程对齐真实与仿真数据的潜在特征。
• 将自适应后的模型集成到 MBPO 框架中，实现基于高保真仿真轨迹的策略优化。
• 采用多步轨迹生成策略并结合自适应长度调度，进一步稳定训练过程并提升样本效率。

实验结果

研究问题

• RQ1 在基于模型的强化学习中，显式对齐真实与仿真数据的分布是否能改善策略优化？
• RQ2 通过最小化 IPM 实现的无监督模型自适应，如何影响仿真轨迹的质量及下游策略性能？
• RQ3 在连续控制任务中，使用 Wassertein-1 距离作为分布对齐目标会产生何种影响？
• RQ4 AMPO 在样本效率和最终性能方面与最先进水平的 MBRL 和 MFRL 方法相比表现如何？
• RQ5 模型自适应能否在不损害训练稳定性的情况下，有效集成到如 MBPO 等现有 MBRL 框架中？

主要发现

• AMPO 在一系列连续控制基准任务中实现了最先进水平的样本效率，优于模型无关与基于模型的基线方法。
• 使用 Wassertein-1 距离进行 IPM 最小化有效减少了分布差异，训练过程中真实与仿真特征分布之间的距离显著下降。
• 采用固定迭代次数（如 5–45 个周期）的自适应与自适应轨迹长度调度（如从 1 逐步增加至 20）相比固定调度，能获得更优性能。
• 消融实验确认模型自适应至关重要：若移除该机制，最终回报明显下降，证明其对性能有直接贡献。
• AMPO 保持了稳定的训练动态，并在包括 Ant、HalfCheetah 和 Walker2d 在内的多种连续控制环境中表现出良好泛化能力。
• 该框架对超参数选择具有鲁棒性，尤其当使用仅在真实数据上训练的解耦解码器时，能确保无偏表示学习。