[论文解读] A Survey of Imitation Learning Methods, Environments and Metrics

Nathan Gavenski, Meneguzzi, Felipe+2 more|arXiv (Cornell University)|Apr 30, 2024

Human Motion and Animation被引用 4

一句话总结

本综述提出了模仿学习方法、环境和度量的全面且新颖的分类体系——解决了评估中严重缺乏标准化的痛点。它系统性地对各类方法进行分类，评估其在学习中的作用，并强调需要采用一致的、以行为为中心的度量标准，以提升模仿学习研究的可比性与实际应用价值。

ABSTRACT

Imitation learning is an approach in which an agent learns how to execute a task by trying to mimic how one or more teachers perform it. This learning approach offers a compromise between the time it takes to learn a new task and the effort needed to collect teacher samples for the agent. It achieves this by balancing learning from the teacher, who has some information on how to perform the task, and deviating from their examples when necessary, such as states not present in the teacher samples. Consequently, the field of imitation learning has received much attention from researchers in recent years, resulting in many new methods and applications. However, with this increase in published work and past surveys focusing mainly on methodology, a lack of standardisation became more prominent in the field. This non-standardisation is evident in the use of environments, which appear in no more than two works, and evaluation processes, such as qualitative analysis, that have become rare in current literature. In this survey, we systematically review current imitation learning literature and present our findings by (i) classifying imitation learning techniques, environments and metrics by introducing novel taxonomies; (ii) reflecting on main problems from the literature; and (iii) presenting challenges and future directions for researchers.

研究动机与目标

• 解决模仿学习评估中日益严重的缺乏标准化问题，特别是在环境和度量方面。
• 系统性地对现有模仿学习方法进行分类，超越传统的在线策略/离线策略区分，以反映近期的方法论趋势。
• 提出首个基于其在评估中作用的模仿学习环境正式分类体系（验证、精度、序列）。
• 开发一种新颖的度量分类体系，将度量分为行为、领域和模型三类，并进一步细分为定性与定量子类。
• 突出评估中的关键挑战，如对环境特定度量的过度依赖以及定性分析的不足，并提出未来研究方向。

提出的方法

• 采用滚雪球式文献综述方法，以两份基础综述（Hussein et al. 2017 和 Zheng et al. 2021）为起点。
• 提出一种新的模仿学习方法分类体系，强调新兴趋势，补充现有的在线策略/离线策略分类。
• 提出基于功能角色的三层次环境分类体系：验证（用于策略评估）、精度（用于高保真行为匹配）和序列（用于长时序任务）。
• 开发一个三类度量分类体系：行为（基于奖励与基于距离）、领域（任务级性能）和模型（策略与表征质量）。
• 使用模仿学习组件的正式定义（如MDP、教师示范、奖励函数）以确保方法分类的数学严谨性。
• 对240余篇论文进行系统性回顾，识别环境、度量与方法在评估中的一致性与可复现性模式。

(a) CartPole [ 77 ]

实验结果

研究问题

• RQ1 如何在超越传统在线策略与离线策略区分的基础上，对模仿学习方法进行系统性分类？
• RQ2 不同类型环境在评估模仿学习智能体时发挥何种作用？如何实现有意义的分类？
• RQ3 当前评估实践中的关键局限是什么？现有度量为何无法捕捉行为保真度或泛化能力？
• RQ4 当前度量在多大程度上支持不同模仿学习方法之间的有意义比较？能否实现统一或聚合？
• RQ5 评估标准化面临的最紧迫挑战是什么？未来研究如何提升一致性和以人为中心的性能评估？

主要发现

• 该领域在评估方面严重缺乏标准化，环境在不超过两篇文献中被重复使用，定性分析极少报告，严重阻碍了方法间的比较。
• 所提出的环境分类体系将环境划分为验证、精度和序列三类，使研究人员能更好地理解并选择评估场景。
• 度量分类体系将评估划分为行为、领域和模型三类，其中行为度量进一步细分为基于奖励与基于距离的类型，提供了多样化的性能视角。
• 尽管已有进展，模仿学习方法仍严重依赖环境特定度量，常忽视行为保真度与泛化能力——而这两者对实际部署至关重要。
• 该综述识别出在奖励或成功率达标之外评估智能体行为的关键空白，倡导采用受人类反馈强化学习启发的更以人为中心的度量。
• 作者结论认为，标准化环境与度量的一致使用，对于实现可靠的基准测试及推动模仿学习未来发展至关重要。

(a) MuJoCo [ 82 ]