[论文解读] ADAIL: Adaptive Adversarial Imitation Learning

Yiren Lu, Jonathan Tompson|arXiv (Cornell University)|Aug 23, 2020

Reinforcement Learning in Robotics参考文献 30被引用 5

一句话总结

ADAIL 提出了一种新颖的对抗性模仿学习框架，通过条件化于学习到的动力学嵌入，并使用领域对抗性判别器来强制实现动力学不变性，从而实现策略在不同动力学环境间的泛化。该方法在源环境达到了专家水平的性能，并能有效泛化到未见过的动力学场景，在仅使用10–20个专家示范的情况下，优于采用动力学随机化的GAIL基线和监督基线方法，在MuJoCo基准测试中表现更优。

ABSTRACT

We present the ADaptive Adversarial Imitation Learning (ADAIL) algorithm for learning adaptive policies that can be transferred between environments of varying dynamics, by imitating a small number of demonstrations collected from a single source domain. This is an important problem in robotic learning because in real world scenarios 1) reward functions are hard to obtain, 2) learned policies from one domain are difficult to deploy in another due to varying source to target domain statistics, 3) collecting expert demonstrations in multiple environments where the dynamics are known and controlled is often infeasible. We address these constraints by building upon recent advances in adversarial imitation learning; we condition our policy on a learned dynamics embedding and we employ a domain-adversarial loss to learn a dynamics-invariant discriminator. The effectiveness of our method is demonstrated on simulated control tasks with varying environment dynamics and the learned adaptive agent outperforms several recent baselines.

研究动机与目标

• 为解决在缺乏真实奖励信号且专家示范仅限于单一源领域的情况下，将模仿策略迁移至动力学不同的环境中的挑战。
• 实现策略在未见动力学下的泛化，而无需在训练期间访问真实物理参数或奖励函数。
• 克服标准GAIL在动态变化场景下的失败，因为其判别器依赖于动力学线索而非行为质量。
• 开发一种通过对抗性训练学习动力学不变表示的方法，以实现鲁棒的策略泛化。

提出的方法

• 通过监督学习或变分自编码器（VAE）方法学习的动力学嵌入来条件化策略，以实现对新动力学的适应。
• 在判别器中引入梯度反转层（GRL），以鼓励其忽略与动力学相关的信号，而专注于行为相似性。
• 使用领域对抗性损失训练判别器，使其能够区分专家轨迹与模仿者轨迹，同时对环境动力学保持不变。
• 将判别器的输出作为奖励信号，通过强化学习改进策略，实现在无需显式奖励塑造的情况下进行模仿。
• 以对抗方式联合训练策略与判别器，其中策略旨在欺骗判别器，而判别器则被训练为对动力学保持不变。
• 在具有连续动力学变化（如重力、摩擦）的MuJoCo环境中评估该方法，使用真实动力学嵌入和预测的动力学嵌入。

实验结果

研究问题

• RQ1 在仅使用有限专家示范的单一源环境中训练的策略，能否泛化到动力学显著不同的环境中？
• RQ2 动力学不变判别器在多大程度上能防止判别器依赖于动力学线索而非行为质量？
• RQ3 将策略条件化于学习到的动力学嵌入是否能提升对未见动力学的零样本泛化能力？
• RQ4 与监督嵌入相比，通过VAE实现的无监督动力学嵌入在策略泛化和鲁棒性方面表现如何？
• RQ5 ADAIL是否能在未见动态环境下超越采用动力学随机化的GAIL和监督基线方法？

主要发现

• ADAIL在源环境（HalfCheetah: 4283.20 ± 1569.31）中达到了专家水平的性能，并在未见动力学中有效泛化，优于采用动力学随机化的GAIL（3182.72 ± 1753.86）。
• 在Ant环境中，ADAIL实现了2119.90 ± 2534.03的平均回报，优于GAIL-rand（1579.36 ± 2082.10）和PPO专家（1972.06 ± 2630.20）在动力学泛化方面的表现。
• 当在未访问源环境（黑障区域）的情况下训练时，ADAIL仍能利用真实动力学参数实现合理泛化，证明了动力学不变判别器的鲁棒性。
• 无监督VAE-ADAIL变体在无需标注动力学的情况下实现了强劲性能，表明学习到的潜在空间捕捉到了有意义的动力学信息。
• 在黑障区域，动力学估计的后验不确定性增加，导致VAE-ADAIL性能下降，证实了准确动力学嵌入对泛化的重要性。
• 尽管在训练期间未访问真实动力学或奖励，ADAIL在许多未见动力学中表现与UP-true基线（使用真实动力学和奖励）相当或更优。