[论文解读] Imitation Learning: Progress, Taxonomies and Challenges

Boyuan Zheng, Sunny Verma+3 more|arXiv (Cornell University)|Jun 23, 2021

Reinforcement Learning in Robotics参考文献 81被引用 10

一句话总结

本综述对模仿学习（IL）进行了全面回顾，提出了反映最新进展的更新分类体系，区分了低层次与高层次任务，以及行为克隆（BC）、逆强化学习（IRL）和对抗性结构化IL。它整合了IL领域的进展，识别出关键挑战，如次优示范和表征学习，并概述了未来方向，包括迁移学习和语音引导的模仿学习。

ABSTRACT

Imitation learning aims to extract knowledge from human experts' demonstrations or artificially created agents in order to replicate their behaviors. Its success has been demonstrated in areas such as video games, autonomous driving, robotic simulations and object manipulation. However, this replicating process could be problematic, such as the performance is highly dependent on the demonstration quality, and most trained agents are limited to perform well in task-specific environments. In this survey, we provide a systematic review on imitation learning. We first introduce the background knowledge from development history and preliminaries, followed by presenting different taxonomies within Imitation Learning and key milestones of the field. We then detail challenges in learning strategies and present research opportunities with learning policy from suboptimal demonstration, voice instructions and other associated optimization schemes.

研究动机与目标

• 提供模仿学习（IL）的系统性综述，采用反映最新进展的更新分类体系。
• 分析从行为克隆（BC）和逆强化学习（IRL）到现代对抗性与结构化方法的IL演进过程。
• 识别IL中的持续挑战，包括对高质量示范的依赖、泛化能力有限以及表征学习不足。
• 探索未来研究方向，如从次优示范中学习、语音指令以及迁移学习。
• 澄清由GAN-based方法（如GAIL）引起的分类体系模糊性，这些方法模糊了传统分类边界。

提出的方法

• 提出一种新分类体系，将IL方法划分为低层次与高层次任务，以及BC、IRL与对抗性结构化IL，以提供更清晰的概念边界。
• 回顾基础IL技术，包括行为克隆（BC）、逆强化学习（IRL）和生成对抗性模仿学习（GAIL）。
• 分析自监督与对比表示学习方法（如时间对比网络）以提升数据效率与领域泛化能力。
• 考察利用非专家或次优示范的方法，如教师-学生蒸馏，以减少对完美专家数据的依赖。
• 引入自然语言与语音指令作为视觉观察的补充信号，用于模仿学习。
• 提出重要性采样与迁移学习等优化方案，以提升样本效率与策略泛化能力。

实验结果

研究问题

• RQ1 如何系统性地对模仿学习进行分类，以反映超越传统BC与IRL框架的现代方法论发展？
• RQ2 从次优或噪声示范中学习的关键挑战是什么，以及如何缓解这些问题？
• RQ3 语音指令或自然语言在多大程度上可被整合到模仿学习中，以提升策略学习并减少人工标注负担？
• RQ4 更优的表示学习（针对策略与示范）如何提升IL中的数据效率与泛化能力？
• RQ5 哪些策略可使模仿学习智能体超越示范者表现并找到全局最优策略？

主要发现

• 综述指出，GAIL及其衍生方法模糊了传统分类体系，因此需要基于任务层级与方法结构的新分类框架。
• 当前IL方法高度依赖高质量示范，次优示范会显著降低性能，尽管近期研究在从此类数据中提取共享意图方面展现出潜力。
• 自监督与对比学习方法（如TCN）可从原始视频中学习领域不变的表示，从而提升在不同环境间的泛化能力。
• 将语音或自然语言指令整合到IL中可增强策略学习，如在导航任务中的实证所示，为人类交互式模仿学习开辟新途径。
• 尽管已有进展，大多数IL方法仍收敛于局部最优解；仅有少数方法（如Yu et al., 2020）实现了超越示范者的表现，表明需改进意图建模。
• 迁移学习与重要性采样是提升样本效率并实现新任务快速适应的有前景优化方案。