[论文解读] Error Bounds of Imitating Policies and Environments

Tian Xu, Ziniu Li+1 more|arXiv (Cornell University)|Jan 1, 2020

Reinforcement Learning in Robotics被引用 4

一句话总结

本文分析了在行为克隆和生成对抗模仿学习中，策略与环境的误差界，比较了两种方法。结果表明，对抗性模仿学习能更有效地减少误差累积，从而提升策略模仿的样本效率，并更有效地学习环境模型，进而提升基于模型的强化学习性能。

ABSTRACT

Imitation learning trains a policy by mimicking expert demonstrations. Various imitation methods were proposed and empirically evaluated, meanwhile, their theoretical understanding needs further studies. In this paper, we firstly analyze the value gap between the expert policy and imitated policies by two imitation methods, behavioral cloning and generative adversarial imitation. The results support that generative adversarial imitation can reduce the compounding errors compared to behavioral cloning, and thus has a better sample complexity. Noticed that by considering the environment transition model as a dual agent, imitation learning can also be used to learn the environment model. Therefore, based on the bounds of imitating policies, we further analyze the performance of imitating environments. The results show that environment models can be more effectively imitated by generative adversarial imitation than behavioral cloning, suggesting a novel application of adversarial imitation for model-based reinforcement learning. We hope these results could inspire future advances in imitation learning and model-based reinforcement learning.

研究动机与目标

• 理论分析行为克隆与生成对抗模仿学习下，专家策略与模仿策略之间的价值差距。
• 研究误差累积对模仿学习中样本复杂度的影响。
• 通过将环境转移视为对偶智能体，探索模仿学习在环境模型学习中的应用。
• 比较行为克隆与生成对抗模仿学习在学习环境模型方面的性能。
• 为在基于模型的强化学习中使用对抗性模仿学习建立理论基础。

提出的方法

• 推导了在行为克隆与生成对抗模仿学习下，模仿策略的理论误差界。
• 将环境转移建模为对偶智能体，以实现对环境动态的模仿学习。
• 分析了策略模仿中的误差累积效应及其对样本复杂度的影响。
• 将相同的理论框架应用于评估环境模型学习的性能。
• 比较了通过行为克隆与生成对抗模仿学习所获得的环境模型的泛化性与鲁棒性。
• 利用形式化边界量化对抗性模仿在误差传播与模型精度方面的改进。

实验结果

研究问题

• RQ1 在策略模仿中，行为克隆与生成对抗模仿学习的误差界有何不同？
• RQ2 与行为克隆相比，生成对抗模仿学习在多大程度上减少了误差累积？
• RQ3 通过将环境转移视为对偶智能体，能否有效学习环境转移模型？
• RQ4 行为克隆与生成对抗模仿学习在环境模型学习方面的性能表现如何比较？
• RQ5 这些边界对样本复杂度与基于模型的强化学习有何影响？

主要发现

• 生成对抗模仿学习比行为克隆更有效地减少误差累积，从而在策略模仿中实现更优的样本复杂度。
• 理论边界表明，与行为克隆相比，对抗性模仿在策略性能上的误差界更紧。
• 通过将环境转移视为对偶智能体，可有效学习环境模型。
• 生成对抗模仿学习产生的环境模型比行为克隆更准确，这由改进的误差边界所证实。
• 结果表明，由于对误差传播具有更强的鲁棒性，对抗性模仿更适合用于基于模型的强化学习。
• 该理论框架为分析和改进基于模仿学习的策略与环境模型学习提供了基础。