[论文解读] Domain-Robust Visual Imitation Learning with Mutual Information Constraints

Edoardo Cetin, Oya Çeliktutan|arXiv (Cornell University)|Mar 8, 2021

Human Pose and Action Recognition参考文献 36被引用 4

一句话总结

该论文提出 DisentanGAIL，一种具有领域鲁棒性的视觉模仿学习框架，通过使用由互信息约束正则化的潜在表征瓶颈进行对抗性训练，将任务完成信号与领域特异性变化分离。该方法能够从不同专家智能体视角的高维观测中实现有效模仿，在外观和本体存在显著领域差异的情况下，于多种控制任务中均表现出色。

ABSTRACT

Human beings are able to understand objectives and learn by simply observing others perform a task. Imitation learning methods aim to replicate such capabilities, however, they generally depend on access to a full set of optimal states and actions taken with the agent's actuators and from the agent's point of view. In this paper, we introduce a new algorithm - called Disentangling Generative Adversarial Imitation Learning (DisentanGAIL) - with the purpose of bypassing such constraints. Our algorithm enables autonomous agents to learn directly from high dimensional observations of an expert performing a task, by making use of adversarial learning with a latent representation inside the discriminator network. Such latent representation is regularized through mutual information constraints to incentivize learning only features that encode information about the completion levels of the task being demonstrated. This allows to obtain a shared feature space to successfully perform imitation while disregarding the differences between the expert's and the agent's domains. Empirically, our algorithm is able to efficiently imitate in a diverse range of control problems including balancing, manipulation and locomotive tasks, while being robust to various domain differences in terms of both environment appearance and agent embodiment.

研究动机与目标

• 解决当专家示范从不同智能体视角观察时的视觉模仿学习挑战，而非从智能本身视角观察。
• 克服以智能体为中心的模仿学习的局限性，后者需要本体感觉或遥控示范，导致用户与智能体交互不自然。
• 在环境外观和智能体本体存在领域差异的情况下，实现高维控制任务中的有效模仿。
• 开发一种方法，学习任务完成程度的领域不变表征，而无需依赖手工设计特征或对任务结构施加强假设。
• 通过在生成对抗框架中强制执行互信息约束，确保在复杂真实模仿场景中具备鲁棒性和可扩展性。

提出的方法

• 引入一种新型判别器，其具有仅编码与任务完成相关的信息的潜在瓶颈，并通过互信息约束进行正则化。
• 强制执行两项互信息约束：一项用于潜在表征与观测来源（智能体 vs. 专家）之间的关系，另一项用于防止领域信息被编码进潜在空间。
• 实现双统计网络（2St）以稳定训练，并防止在互信息估计过程中领域信息伪装。
• 对判别器的各层应用谱归一化，以提高训练稳定性并防止模式崩溃。
• 使用离策略强化学习训练智能体，利用来自对抗性判别器的奖励信号。
• 设计模型以将目标完成信号与无关的领域特异性特征（如背景外观或智能体形态）分离。

实验结果

研究问题

• RQ1 互信息约束是否能有效将任务完成信号与视觉观测中的领域特异性变化分离？
• RQ2 在环境外观和智能体本体均存在显著领域差异的情况下，所提方法表现如何？
• RQ3 领域信息伪装对互信息估计有何影响，以及如何在训练过程中缓解该问题？
• RQ4 所提架构是否可扩展至高维控制任务（如运动与操作）？
• RQ5 如谱归一化和双统计网络等架构组件如何促进训练稳定性和性能？

主要发现

• DisentanGAIL 在一系列多样化控制任务中达到最先进性能，包括 Reacher、Inverted Pendulum、Hopper 和 7DOF-Pusher，其中 Reacher 和 Inverted Pendulum 任务的平均回报分别为 0.973±0.074 和 1.021±0.023。
• 该方法对领域差异表现出强鲁棒性：在背景改变的替代目标环境中（如 Hopper 中的更暗地板、7DOF-Pusher 中的绿色桌面），性能依然强劲，Hopper 的回报为 0.709±0.078，7DOF-Pusher 为 0.835±0.039，分别与原始环境中的 0.749±0.026 和 0.901±0.044 相当。
• 消融研究显示，谱归一化和双统计网络均对性能有积极贡献，后者影响略大，尤其在 Inverted Pendulum 任务中。
• 移除谱归一化可实现更快的初始收敛，但训练稳定性下降，表明速度与鲁棒性之间存在权衡。
• 双统计网络有效防止了领域信息伪装，否则将损害互信息估计并降低策略性能。
• 该模型成功将任务相关特征与无关的领域特异性线索（如地板瓷砖外观）分离，即使视觉背景显著不同，也能实现有效模仿。