[论文解读] Imitation Learning from Pixel-Level Demonstrations by HashReward

Xin-Qiang Cai, Yao-Xiang Ding+2 more|arXiv (Cornell University)|Sep 9, 2019

Multimodal Machine Learning Applications参考文献 39被引用 4

一句话总结

本文提出 HashReward，一种新颖的模仿学习方法，利用监督哈希在高维像素环境中平衡降维与判别性训练。通过联合优化嵌入学习与奖励生成，HashReward 实现了高效的对抗式模仿学习，在 Atari 和 MuJoCo 基准测试中显著优于最先进方法，性能差距显著。

ABSTRACT

One of the key issues for imitation learning lies in making policy learned from limited samples to generalize well in the whole state-action space. This problem is much more severe in high-dimensional state environments, such as game playing with raw pixel inputs. Under this situation, even state-of-the-art adversary-based imitation learning algorithms fail. Through empirical studies, we find that the main cause lies in the failure of training a powerful discriminator to generate meaningful rewards in high-dimensional environments. Although it seems that dimensionality reduction can help, a straightforward application of off-the-shelf methods cannot achieve good performance. In this work, we show in theory that the balance between dimensionality reduction and discriminative training is essential for effective learning. To achieve this target, we propose HashReward, which utilizes the idea of supervised hashing to realize such an ideal balance. Experimental results show that HashReward could outperform state-of-the-art methods for a large gap under the challenging high-dimensional environments.

研究动机与目标

• 为解决基于判别器的模仿学习在高维状态空间（尤其是原始像素输入）中的失效问题。
• 识别现有方法性能下降的根本原因在于降维与判别性训练之间的失衡。
• 设计一个统一框架，在降维过程中保留判别性信息，同时实现有效的奖励信号生成。
• 在专家示范数据有限的条件下，提升模仿学习的泛化能力与样本效率。
• 证明监督哈希能够有效平衡对抗式模仿学习中的判别性-奖励权衡。

提出的方法

• 提出 HashReward，一种将监督哈希与对抗式模仿学习相结合的联合优化框架。
• 采用孪生网络架构，从专家轨迹与类专家策略轨迹中学习 64 位哈希码。
• 引入带有困难负样本挖掘的对比损失，以在嵌入空间中保留判别性结构。
• 使用接收哈希码作为输入的判别器，使其能够基于语义相似性生成有意义的奖励信号。
• 采用类似 GAIL 的目标，端到端训练策略与判别器，其中判别器的损失同时包含分类与对比监督。
• 应用温度缩放的对比损失以稳定训练，并提升所学嵌入的泛化能力。

实验结果

研究问题

• RQ1 为何最先进基于判别器的模仿学习方法在高维像素环境中失效？
• RQ2 为何在模仿学习中使用无监督降维会导致性能下降？
• RQ3 如何平衡降维与判别性训练，以保留有意义的奖励信号？
• RQ4 监督哈希能否在降维的同时有效保留判别性信息，以支持模仿学习？
• RQ5 将哈希与判别训练统一进行端到端训练，是否优于分离的预训练方法，从而实现更好的策略泛化？

主要发现

• HashReward 在 Atari 游戏上显著优于 GAIL、VAIL 和 GAIL-UH，达到更高的最终回报并实现更快收敛。
• HashReward 的伪奖励曲线与真实奖励高度吻合，表明其奖励信号稳定且有意义；而 GAIL-UH 和 VAIL 的奖励信号则表现差或存在偏差。
• t-SNE 可视化结果表明，HashReward 的嵌入在全局上形成聚类结构，且随训练时间推移，专家样本与策略样本之间的重叠度逐渐增加，表明策略模仿能力得到提升。
• 64 位嵌入分析显示，随着训练进行，策略生成的哈希码与专家码的相似度持续提高，验证了 HashReward 学习到了有意义且语义结构清晰的嵌入空间。
• HashReward 中的判别器避免了过度判别，维持了判别与奖励生成之间的平衡；而 GAIL 和 GAIL-AE 则因过度拟合于判别任务而表现不佳。
• 实验结果证实，无监督哈希（如 GAIL-UH）无法保留判别性信息，导致奖励信号无效，进而造成策略性能低下。