[论文解读] A Survey of Imitation Learning: Algorithms, Recent Developments, and Challenges

Maryam Zare, Parham M. Kebria+2 more|arXiv (Cornell University)|Sep 5, 2023

Reinforcement Learning in RoboticsComputer Science被引用 3

一句话总结

本综述全面、及时地概述了机器人学与人工智能中的模仿学习（IL），涵盖行为克隆和逆强化学习等核心算法、对抗性IL，以及跨领域、跨本体和鲁棒IL的最新进展。它识别出关键挑战，如演示不完美和领域漂移，并为可扩展、可泛化的IL系统指明了未来研究方向。

ABSTRACT

In recent years, the development of robotics and artificial intelligence (AI) systems has been nothing short of remarkable. As these systems continue to evolve, they are being utilized in increasingly complex and unstructured environments, such as autonomous driving, aerial robotics, and natural language processing. As a consequence, programming their behaviors manually or defining their behavior through reward functions (as done in reinforcement learning (RL)) has become exceedingly difficult. This is because such environments require a high degree of flexibility and adaptability, making it challenging to specify an optimal set of rules or reward signals that can account for all possible situations. In such environments, learning from an expert's behavior through imitation is often more appealing. This is where imitation learning (IL) comes into play - a process where desired behavior is learned by imitating an expert's behavior, which is provided through demonstrations. This paper aims to provide an introduction to IL and an overview of its underlying assumptions and approaches. It also offers a detailed description of recent advances and emerging areas of research in the field. Additionally, the paper discusses how researchers have addressed common challenges associated with IL and provides potential directions for future research. Overall, the goal of the paper is to provide a comprehensive guide to the growing field of IL in robotics and AI.

研究动机与目标

• 为机器人学与人工智能领域的研究人员和从业者整合模仿学习（IL）的最新进展。
• 通过提供IL作为可扩展的替代方案，减少对奖励工程的依赖，以解决传统强化学习的局限性。
• 识别并分析IL中的关键挑战，包括演示不完美、领域漂移以及本体差异。
• 系统性地概述IL方法——行为克隆、逆强化学习和对抗性模仿学习——及其优缺点。
• 通过突出跨领域、跨本体和鲁棒IL中的新兴趋势与开放问题，为未来研究提供指导。

提出的方法

• 根据学习目标和公式化方式，将IL分为三大范式：行为克隆（BC）、逆强化学习（IRL）和对抗性模仿学习（AIL）。
• 回顾近期方法，通过在采样动态下最小化专家策略与智能体策略之间的Jensen-Shannon散度，提升对环境动态变化的鲁棒性。
• 研究跨本体IL技术，如XIRL，其利用时间循环一致性（TCC）学习任务进展嵌入和与本体无关的距离奖励。
• 引入基于Gromov-Wasserstein的方法，通过在专家与智能体状态-动作占据空间之间学习等距变换，实现在无代理任务或显式潜在空间对齐情况下的策略迁移。
• 提出并分析IfO（从观察中模仿）框架，用于从仅含状态的演示中学习，避免对动作标签的需求。
• 评估利用状态-动作空间中结构保持性导出的伪奖励来训练策略的方法，使其在跨领域设置下可通过强化学习实现。

Figure 1: A historical timeline of IL research illustrating key achievements in the field.

实验结果

研究问题

• RQ1 如何在仅使用少量演示的情况下，使模仿学习对环境动态变化具有鲁棒性？
• RQ2 哪些技术能够实现在不同本体、视角或动态特性下的智能体之间有效策略迁移？
• RQ3 如何从不完美或稀疏的演示中（包括仅含状态的观测）进行模仿学习？
• RQ4 在状态-动作占据空间中保持结构特性，在无需显式对齐的情况下，对实现跨领域模仿起到何种作用？
• RQ5 如何通过新颖的算法设计缓解传统IL的局限性，如分布漂移和专家演示质量问题？

主要发现

• 对抗性模仿学习（AIL）及其变体通过利用生成对抗网络匹配专家行为，无需显式奖励设计，显著提升了策略泛化能力。
• 跨本体IRL（XIRL）成功利用时间循环一致性（TCC）和嵌入空间中的目标状态距离，学习到与本体无关的任务表征，实现在多样化智能体间的零样本迁移。
• 基于Gromov-Wasserstein的方法通过在不同领域间保持状态与动作之间距离关系，实现有效策略迁移，无需代理任务或显式潜在空间对齐。
• 从观察中学习（IfO）框架通过将策略建模为给定状态下的动作条件分布，实现从仅含状态的演示中进行模仿，从而降低数据需求。
• 通过在多种动态变化下最小化Jensen-Shannon散度的鲁棒IL方法展现出更好的泛化性能，即使在显著环境扰动下也观察到性能提升。
• 尽管已取得进展，大规模、多样化且高质量的演示仍是关键瓶颈，尤其在处理专家行为真实世界变异性和基于视频的演示时。

Figure 2: A categorization of methods addressing the covariate shift problem. Interactive IL assumes access to an online expert. DAgger like algorithms require the expert to provide corrective labels for each action taken by the agent. On the other hand, human-gated and robot-gated methods provide c