[论文解读] Global overview of Imitation Learning

Alexandre Attia, Sharone Dayan|arXiv (Cornell University)|Jan 19, 2018

Reinforcement Learning in Robotics参考文献 9被引用 31

一句话总结

本文对模仿学习算法进行了全面综述，比较了其在序列决策任务中的收敛性保证与性能表现。研究强调 DAgger 方法最为有效，因其采用主动数据收集并具备对分布偏移的鲁棒性，在使用 OpenAI Gym 的模拟半Cheetah 环境中，通过多轮迭代实现了显著的策略性能提升。

ABSTRACT

Imitation Learning is a sequential task where the learner tries to mimic an expert's action in order to achieve the best performance. Several algorithms have been proposed recently for this task. In this project, we aim at proposing a wide review of these algorithms, presenting their main features and comparing them on their performance and their regret bounds.

研究动机与目标

• 回顾并比较主流的模仿学习算法，强调其理论保证与实际性能表现。
• 分析被动监督学习在模仿学习中的局限性，特别是其无法从分布偏移中恢复的能力。
• 评估主动学习方法（如 DAgger）在提升策略泛化能力与鲁棒性方面的有效性。
• 在真实世界基准（OpenAI Gym 的半Cheetah）上实证验证 DAgger 算法，并评估其训练动态。
• 探索模仿学习的最新进展，包括基于 GAN 和元学习的框架，及其在少样本模仿中的潜力。

提出的方法

• 在马尔可夫决策过程（MDP）框架内形式化模仿学习，定义关键组件：状态空间 S、动作空间 A、转移函数 B、奖励函数 R 和初始状态分布 I。
• 通过在专家状态-动作对上训练分类器，将监督学习应用于模仿学习，假设专家动作独立同分布，并利用二次损失界约束性能损失。
• 提出前向训练（Forward Training），一种迭代算法，在每个时间步使用前一策略的轨迹训练非时齐策略，在特定条件下实现次线性损失界。
• 提出 DAgger（数据集聚合）作为主动学习算法，在轨迹采样过程中每一步都向专家查询，收集新数据以重新训练策略，从而减少分布偏移。
• 在 DAgger 中采用代价敏感分类，利用状态、时间、动作及专家提供的代价到目标估计值的聚合数据训练策略。
• 使用 TensorFlow 训练神经网络策略，在 OpenAI Gym 环境中模拟并评估多轮迭代下的策略性能。

实验结果

研究问题

• RQ1 不同模仿学习算法在损失界与收敛性保证方面有何差异？
• RQ2 为何监督模仿学习在智能体偏离专家示范轨迹时无法实现良好泛化？
• RQ3 与被动监督学习相比，DAgger 中的主动数据收集在多大程度上提升了策略性能？
• RQ4 DAgger 算法如何通过减少分布偏移来提升训练过程中的策略鲁棒性？
• RQ5 DAgger 是否能在极少专家示范下实现优异性能？其性能随轨迹采样轮次增加如何变化？

主要发现

• 监督模仿学习的损失界为二次形式：$ J(\tilde{\tau}) \rightarrow J(\tau^*) + T^2\theta $，其中 $ \theta $ 为分类器误差率，表明在偏离专家轨迹时泛化能力差。
• 前向训练实现近线性损失界：$ J(\tilde{\tau}) \rightarrow J(\tau^*) + O(uT\theta) $，通过支持从错误中恢复，性能优于监督学习。
• DAgger 显著优于被动方法，因其在轨迹采样过程中主动向专家查询，有效减少分布偏移并提升策略泛化能力。
• 在半Cheetah 环境中，DAgger 算法在 30 次迭代内实现训练与验证损失的收敛，策略迭代过程中跳跃着陆准确率明显提升。
• 在验证集上选择的最终策略表现出稳定且提升的性能，证实了 DAgger 在真实世界模仿学习任务中的有效性。
• 近期进展如基于 GAN 和元学习的框架在少样本模仿中展现出潜力，OpenAI 的方法通过 VR 和神经网络预训练，仅凭一次示范即实现模仿。