[论文解读] A Divergence Minimization Perspective on Imitation Learning Methods

Seyed Kamyar Seyed Ghasemipour, Richard S. Zemel+1 more|arXiv (Cornell University)|Nov 6, 2019

Reinforcement Learning in Robotics参考文献 32被引用 24

一句话总结

本文提出 f-MAX，一种统一的 f-散度框架，该框架推广了对抗性逆向强化学习（AIRL），揭示了在低数据场景下，模仿学习（IL）方法优于行为克隆（BC）的主要原因在于状态边际匹配。该方法可在无需专家演示或奖励函数的情况下，通过指定目标状态分布来训练多样化的策略，并在连续控制环境中得到验证。

ABSTRACT

In many settings, it is desirable to learn decision-making and control policies through learning or bootstrapping from expert demonstrations. The most common approaches under this Imitation Learning (IL) framework are Behavioural Cloning (BC), and Inverse Reinforcement Learning (IRL). Recent methods for IRL have demonstrated the capacity to learn effective policies with access to a very limited set of demonstrations, a scenario in which BC methods often fail. Unfortunately, due to multiple factors of variation, directly comparing these methods does not provide adequate intuition for understanding this difference in performance. In this work, we present a unified probabilistic perspective on IL algorithms based on divergence minimization. We present $f$-MAX, an $f$-divergence generalization of AIRL [Fu et al., 2018], a state-of-the-art IRL method. $f$-MAX enables us to relate prior IRL methods such as GAIL [Ho & Ermon, 2016] and AIRL [Fu et al., 2018], and understand their algorithmic properties. Through the lens of divergence minimization we tease apart the differences between BC and successful IRL approaches, and empirically evaluate these nuances on simulated high-dimensional continuous control domains. Our findings conclusively identify that IRL's state-marginal matching objective contributes most to its superior performance. Lastly, we apply our new understanding of IL methods to the problem of state-marginal matching, where we demonstrate that in simulated arm pushing environments we can teach agents a diverse range of behaviours using simply hand-specified state distributions and no reward functions or expert demonstrations. For datasets and reproducing results please refer to https://github.com/KamyarGh/rl_swiss/blob/master/reproducing/fmax_paper.md .

研究动机与目标

• 理解为何对抗性模仿学习（IL）方法在低数据场景下优于行为克隆（BC），尽管两者在最优情况下均可恢复专家策略。
• 在基于 f-散度最小化的统一概率框架下，统一现有 IL 方法（尤其是 GAIL 和 AIRL 等最大熵 IRL 方法）。
• 隔离并实证验证在高维连续控制任务中，IRL 相较于 BC 表现更优的关键因素。
• 将新的散度最小化视角应用于状态边际匹配，实现在无需专家演示或奖励函数的情况下训练多样化行为。

提出的方法

• 提出 f-MAX，作为 AIRL 的推广，将最大熵 IRL 框架化为最小化专家与策略轨迹分布之间的 f-散度。
• 推导 f-MAX 的反向 KL 变体，并引入 FAIRL，即对 AIRL 的一行代码修改，使其优化前向 KL 散度。
• 利用 f-散度框架解释并比较 BC、GAIL、AIRL 和 FAIRL 作为不同的散度最小化目标。
• 将 f-MAX 的反向 KL 变体应用于状态边际匹配，仅使用状态样本即可训练策略以匹配指定的目标状态分布。
• 采用基于 f-散度最小化的可微分策略训练目标，实现无需奖励函数的端到端学习。
• 在 Point-Mass、Pusher 和 Fetch 机器人等模拟环境中验证该方法，仅以目标状态分布作为监督信号。

实验结果

研究问题

• RQ1 为何对抗性 IRL 方法（如 GAIL 和 AIRL）在低数据场景下优于行为克隆（BC），尽管两者在最优情况下均可恢复专家策略？
• RQ2 IRL 目标中哪个具体组件——特征期望匹配还是状态边际匹配——促成了其相较于 BC 的性能提升？
• RQ3 能否通过统一的散度最小化框架解释并推广现有的模仿学习算法，包括 BC 和最大熵 IRL 方法？
• RQ4 在无专家演示或奖励函数的情况下，状态边际匹配在多大程度上可独立引导策略学习？
• RQ5 f-MAX 是否可用于通过仅指定目标状态分布来训练多样化、复杂的行为（如绘图、探索）？

主要发现

• IRL 在低数据场景下优于 BC 的关键因素是状态边际匹配，而非特征期望匹配或奖励设计。
• f-MAX 有效推广了 AIRL，并为最大熵 IRL 提供了统一的概率解释，即 f-散度最小化。
• FAIRL（AIRL 的前向 KL 变体）表明，在某些场景下，前向 KL 最小化相比反向 KL 可实现更优的策略优化。
• 在 Pusher 环境中，f-MAX 仅通过目标状态分布就训练出策略，在三维空间中绘制正弦路径，无需专家演示或奖励。
• 在 Fetch 机器人环境中，f-MAX 训练出多样化的探索策略，使小方块保持在目标区域内，方法是学习匹配该区域的均匀状态分布。
• 在 Point-Mass 领域中，该方法成功训练策略以匹配复杂、多模态的状态分布，展现出对分布复杂性的鲁棒性。