[论文解读] f-GAIL: Learning f-Divergence for Generative Adversarial Imitation Learning

Xin Zhang, Yanhua Li+2 more|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks被引用 2

一句话总结

f-GAIL 提出了一种新颖的生成对抗模仿学习框架，联合学习最优 f-散度度量与策略，从专家演示中学习，在六个基于物理的控制任务中相比使用预定义散度的基线方法，实现了更优的数据效率和策略性能。

ABSTRACT

Imitation learning (IL) aims to learn a policy from expert demonstrations that minimizes the discrepancy between the learner and expert behaviors. Various imitation learning algorithms have been proposed with different pre-determined divergences to quantify the discrepancy. This naturally gives rise to the following question: Given a set of expert demonstrations, which divergence can recover the expert policy more accurately with higher data efficiency? In this work, we propose $f$-GAIL, a new generative adversarial imitation learning (GAIL) model, that automatically learns a discrepancy measure from the $f$-divergence family as well as a policy capable of producing expert-like behaviors. Compared with IL baselines with various predefined divergence measures, $f$-GAIL learns better policies with higher data efficiency in six physics-based control tasks.

研究动机与目标

• 为解决模仿学习中选择合适散度度量的挑战，该挑战显著影响策略质量与数据效率。
• 探究是否从 f-散度族中学习散度本身，可获得优于使用固定预定义散度的模仿性能。
• 开发一个统一框架，通过对抗训练联合优化散度度量与策略。
• 通过将差异度量适配到专家演示数据，提升模仿学习中的数据效率。

提出的方法

• f-GAIL 引入可学习的可微分 f-散度族作为组件，其中散度函数由神经网络参数化。
• 该框架采用生成对抗训练目标，利用专家演示联合优化策略与 f-散度函数。
• f-散度通过判别器端到端学习，该判别器用于区分专家轨迹与生成轨迹，其输出用于计算散度。
• 策略通过最小化专家行为与专家类似行为之间的学习到的 f-散度进行训练，从而实现更优的行为克隆。
• 该方法使用变分下界近似 f-散度，以在训练过程中实现稳定优化。
• 该框架以对抗方式训练，策略与 f-散度交替更新以最小化差异。

实验结果

研究问题

• RQ1 从数据中学习 f-散度度量是否可带来优于使用固定预定义散度的模仿性能？
• RQ2 f-GAIL 联合优化策略与散度的方法在数据效率方面与使用固定散度的基线方法相比如何？
• RQ3 所学习的 f-散度是否能有效适应不同控制任务中不同的专家演示分布？
• RQ4 f-GAIL 是否能在多个基于物理的控制环境中泛化，同时保持高样本效率？

主要发现

• 在六个基于物理的控制任务中，f-GAIL 的策略性能优于所有使用预定义散度的基线方法。
• f-GAIL 中学习到的 f-散度带来了更高的数据效率，达到最优性能所需专家演示更少。
• f-GAIL 在最终策略回报与学习速度方面均优于基线方法，如标准 GAIL、BC 以及其他基于散度的 IL 方法。
• 消融研究证实，f-散度与策略的联合学习对性能提升至关重要，解耦二者会导致性能下降。