[论文解读] State-only Imitation with Transition Dynamics Mismatch

Tanmay Gangwani, Jian Peng|arXiv (Cornell University)|Feb 27, 2020

Reinforcement Learning in Robotics参考文献 28被引用 10

一句话总结

该论文提出 I2L，一种间接模仿学习方法，可在转移动态不匹配场景下，仅使用状态轨迹的专家演示，实现从专家到模仿者策略的有效策略迁移。通过将模仿目标分解为两个迭代子问题——利用 AIRL 进行策略模仿，以及利用 Wasserstein 评论家进行分布对齐——I2L 在基线方法（如 GAIL-S 和 GAIfO）之上表现更优，尤其在动态不匹配场景中表现突出。

ABSTRACT

Imitation Learning (IL) is a popular paradigm for training agents to achieve complicated goals by leveraging expert behavior, rather than dealing with the hardships of designing a correct reward function. With the environment modeled as a Markov Decision Process (MDP), most of the existing IL algorithms are contingent on the availability of expert demonstrations in the same MDP as the one in which a new imitator policy is to be learned. This is uncharacteristic of many real-life scenarios where discrepancies between the expert and the imitator MDPs are common, especially in the transition dynamics function. Furthermore, obtaining expert actions may be costly or infeasible, making the recent trend towards state-only IL (where expert demonstrations constitute only states or observations) ever so promising. Building on recent adversarial imitation approaches that are motivated by the idea of divergence minimization, we present a new state-only IL algorithm in this paper. It divides the overall optimization objective into two subproblems by introducing an indirection step and solves the subproblems iteratively. We show that our algorithm is particularly effective when there is a transition dynamics mismatch between the expert and imitator MDPs, while the baseline IL methods suffer from performance degradation. To analyze this, we construct several interesting MDPs by modifying the configuration parameters for the MuJoCo locomotion tasks from OpenAI Gym.

研究动机与目标

• 解决当模仿者环境动态与专家演示数据收集所用动态不一致时的模仿学习挑战。
• 克服依赖专家动作且假设专家与模仿者 MDP 动态相同的直接模仿方法的局限性。
• 在真实场景（如运动教学或基于视频的监督）中更易获取的仅状态专家演示基础上，实现有效的模仿学习。
• 通过在优化过程中引入中间分布作为间接步骤，提升对动态不匹配的鲁棒性。
• 在连续控制任务中，提升在真实动态不匹配场景（如重力或摩擦系数改变）下的样本效率与性能。

提出的方法

• 提出一种间接模仿框架（I2L），通过下界推导将最大熵逆强化学习目标分解为两个子问题。
• 使用轨迹缓冲区表示一个中间状态-动作访问分布 $\tilde{\rho}$，该分布在训练过程中被迭代更新。
• 通过 AIRL 训练模仿者策略以匹配 $\tilde{\rho}$，即最小化策略与缓冲区之间状态-动作访问分布的差异。
• 同时利用 Wasserstein 评论家最小化缓冲区（$\tilde{\rho}$）与专家（$\rho^*$）状态访问分布之间的 Wasserstein 距离。
• 迭代优化两个组件：策略模仿与缓冲区-专家分布对齐，从而实现对动态不匹配的鲁棒适应。
• 采用固定容量的优先队列缓冲区存储并更新轨迹，消融实验表明其对缓冲区大小具有鲁棒性。

实验结果

研究问题

• RQ1 当模仿者的环境动态与专家存在显著差异时，仅状态模仿学习是否仍能有效？
• RQ2 与直接模仿方法相比，引入中间分布作为间接步骤是否能提升对动态不匹配的鲁棒性？
• RQ3 在动态不匹配条件下，I2L 与最先进的仅状态 IL 基线方法（如 GAIfO 和 GAIL-S）相比表现如何？
• RQ4 缓冲区容量对 I2L 框架的性能与稳定性有何影响？
• RQ5 下界近似与 Wasserstein 距离度量在算法收敛性与性能方面起到了多大作用？

主要发现

• 在动态不匹配场景下，I2L 的最终性能显著优于 GAIL-S 和 GAIfO，例如在低重力 Half-Cheetah 中得分达 3975（对比 GAIL-S 的 923），在高摩擦 Hopper 中得分为 2084（对比 GAIL-S 的 810）。
• 在无动态不匹配场景下，I2L 仍保持强劲性能（如 Half-Cheetah 得分为 5240），与 GAIL 和 AIRL 相当或更优，尽管其无需专家动作。
• I2L 对缓冲区容量具有鲁棒性，即使在低容量（如仅 1 条轨迹）下性能也稳定，高容量（50 条轨迹）下亦无显著性能下降。
• 最大熵 IRL 目标下界近似值随训练过程逐渐减小，表明优化保真度不断提升。
• 缓冲区与专家状态访问分布之间的经验 Wasserstein 距离随时间减小，证实了有效的分布对齐。
• 即使在有专家动作可用的情况下，GAIL 和 AIRL 在动态不匹配场景下仍表现不如 I2L，表明当动态不一致时，专家动作并非最优选择。