[论文解读] Mitigating Covariate Shift in Imitation Learning via Offline Data Without Great Coverage

Jonathan Chang, Masatoshi Uehara+3 more|arXiv (Cornell University)|Jun 6, 2021

Reinforcement Learning in Robotics参考文献 81被引用 7

一句话总结

该论文提出MILO，一种基于模型的离线模仿学习框架，仅使用部分覆盖专家轨迹的静态离线数据集，即可在行为策略高度次优的情况下缓解协变量偏移问题。该方法仅需极少的专家数据即可实现高保真模仿——其性能优于行为克隆，在行为数据中专家表现不足一半的情况下仍能成功模仿专家策略。

ABSTRACT

This paper studies offline Imitation Learning (IL) where an agent learns to imitate an expert demonstrator without additional online environment interactions. Instead, the learner is presented with a static offline dataset of state-action-next state transition triples from a potentially less proficient behavior policy. We introduce Model-based IL from Offline data (MILO): an algorithmic framework that utilizes the static dataset to solve the offline IL problem efficiently both in theory and in practice. In theory, even if the behavior policy is highly sub-optimal compared to the expert, we show that as long as the data from the behavior policy provides sufficient coverage on the expert state-action traces (and with no necessity for a global coverage over the entire state-action space), MILO can provably combat the covariate shift issue in IL. Complementing our theory results, we also demonstrate that a practical implementation of our approach mitigates covariate shift on benchmark MuJoCo continuous control tasks. We demonstrate that with behavior policies whose performances are less than half of that of the expert, MILO still successfully imitates with an extremely low number of expert state-action pairs while traditional offline IL method such as behavior cloning (BC) fails completely. Source code is provided at https://github.com/jdchang1/milo.

研究动机与目标

• 解决模仿学习中无需在线环境交互或全局覆盖专家分布的协变量偏移问题。
• 开发一种理论基础扎实、基于模型的离线模仿学习框架，即使在行为策略次优时也能有效运行。
• 证明离线数据中专家轨迹的局部覆盖已足以实现成功的模仿。
• 提供一种实用算法，利用神经网络集成和基于判别器的成本函数，实现鲁棒的离线模仿。
• 展示在专家数据极少的场景下，MILO 优于传统离线模仿学习方法（如行为克隆）

提出的方法

• MILO 使用来自静态离线数据集（包含状态-动作-下一状态转换）的模型学习动力学模型，以模拟类似专家的轨迹。
• 采用基于判别器的成本函数，利用随机傅里叶特征区分专家动作与行为策略动作。
• 框架引入基于模型集成不确定性的惩罚项，以避免在预测方差较高的区域采取动作。
• 混合目标函数结合了通过判别器损失实现的专家模仿与行为克隆正则化，以稳定学习过程。
• 使用信任区域策略优化（TRPO）并引入KL散度约束，确保策略更新保持稳定。
• 通过可学习的惩罚权重动态调整成本函数，以平衡专家判别与不确定性正则化。

实验结果

研究问题

• RQ1 当行为策略次优且仅部分覆盖专家状态-动作对时，离线模仿学习能否实现高保真模仿？
• RQ2 是否可能在无需在线环境交互或状态-动作空间完全覆盖的情况下缓解离线模仿学习中的协变量偏移？
• RQ3 在低数据模仿设置中，基于模型且具备不确定性感知的成本函数是否能提升泛化能力？
• RQ4 在专家数据极度有限的情况下，MILO 与行为克隆及其他离线模仿学习方法相比表现如何？
• RQ5 MILO 在专家数据极少时，能否在多样化的 MuJoCo 连续控制环境中实现良好泛化？

主要发现

• 即使行为策略性能仅为专家的46%（在Humanoid-v2中为1505 ± 473 vs. 3248），MILO 仍能成功模仿专家策略。
• 仅使用100个专家状态-动作对，MILO 的性能即可与专家相当，而行为克隆在相同条件下完全失败。
• 在所有MuJoCo环境中（包括Hopper、Walker2d、HalfCheetah、Ant和Humanoid），即使专家数据极少，MILO 仍保持强劲性能。
• 该方法在单条专家轨迹输入下也表现出良好泛化能力，所有任务的性能均达到或接近专家水平。
• 使用不确定性感知的成本函数显著提升了鲁棒性，尤其在行为克隆完全失效的低数据场景下。
• 在Hopper-v2上的超参数调优可有效推广至其他环境，证明了该方法的可迁移性与稳定性。