[论文解读] An Empirical Investigation of Representation Learning for Imitation

Xin Chen, Sam Toyer+10 more|arXiv (Cornell University)|May 16, 2022

Domain Adaptation and Few-Shot Learning参考文献 12被引用 7

一句话总结

本文研究了在视觉基准环境中，表示学习（RepL）是否能提升模仿学习（IL）的性能，采用模块化框架评估多种RepL方法。尽管在多个基准上进行了广泛测试，RepL相较于经过充分调优的图像增强基线方法仍仅带来有限的性能提升，表明当已应用强数据增强时，现有RepL技术在IL中优势有限。

ABSTRACT

Imitation learning often needs a large demonstration set in order to handle the full range of situations that an agent might find itself in during deployment. However, collecting expert demonstrations can be expensive. Recent work in vision, reinforcement learning, and NLP has shown that auxiliary representation learning objectives can reduce the need for large amounts of expensive, task-specific data. Our Empirical Investigation of Representation Learning for Imitation (EIRLI) investigates whether similar benefits apply to imitation learning. We propose a modular framework for constructing representation learning algorithms, then use our framework to evaluate the utility of representation learning for imitation across several environment suites. In the settings we evaluate, we find that existing algorithms for image-based representation learning provide limited value relative to a well-tuned baseline with image augmentations. To explain this result, we investigate differences between imitation learning and other settings where representation learning has provided significant benefit, such as image classification. Finally, we release a well-documented codebase which both replicates our findings and provides a modular framework for creating new representation learning algorithms out of reusable components.

研究动机与目标

• 系统评估表示学习是否能提升视觉环境中模仿学习的性能。
• 识别影响模仿学习中性能的RepL算法设计维度。
• 构建一个模块化、可扩展的代码库，以支持RepL在IL中可复现的实验。
• 探究为何RepL在视觉和强化学习领域表现成功，但在模仿学习中影响有限。
• 分析学习到的表示和策略，为未来研究提出假设。

提出的方法

• 作者设计了一个模块化框架，将关键的RepL设计选择（如数据增强、动量、投影头以及预训练与联合训练）解耦为独立组件。
• 在三个基准上评估了12种RepL方法：DeepMind Control Suite（DMC）、Procgen和MAGICAL，使用行为克隆（BC）和GAIL作为下游IL算法。
• 发布了一个文档详尽、开源的代码库，以支持实验的复现与扩展，并提供可重用的组件。
• 作者使用显著性图和聚类分析学习到的表示和策略，比较不同任务和方法之间的差异。
• 将RepL性能与仅使用图像增强的强基线进行对比，确保评估的公平性。
• 采用归因方法和聚类分析，探究表示是否学习到与任务相关的不变性，如专家回报或与动作相关的特征。

实验结果

研究问题

• RQ1 与强数据增强基线相比，表示学习是否能提升视觉环境中模仿学习的性能？
• RQ2 RepL中的设计选择（如对比学习、动量、投影头）如何影响IL性能？
• RQ3 为何RepL方法在模仿学习中表现有限，尽管其在其他视觉和强化学习场景中表现成功？
• RQ4 基于RepL的IL模型中学习到的表示是否捕捉到与任务相关的不变性，如专家回报或与动作相关的状态特征？
• RQ5 RepL性能在不同基准环境中的表现如何变化？其差异的原因是什么？

主要发现

• 平均而言，RepL方法优于原始BC，但这种提升在很大程度上已被经过充分调优的图像增强单独实现，表明复杂RepL带来的增量收益极小。
• 在DMC中，RepL表现出中等程度的性能提升，但在Procgen和MAGICAL中，性能增益可忽略不计，凸显了基准特定的影响。
• 显著性图显示，SimCLR学习到的表示在CoinRun（Procgen）中关注背景特征，而这些特征相比障碍物和硬币等前景线索相关性较低，从而降低了任务性能。
• 在finger-spin（DMC）任务中，SimCLR关注随帧变化的前景物体，这些特征更具信息量，解释了该环境中性能更优的原因。
• 聚类分析表明，通过RepL学习到的表示更倾向于按专家回报聚类，而非按动作聚类，表明其捕捉的是与价值相关的不变性，而非与策略相关的特征。
• GAIL判别器（近似奖励函数）在RepL预训练后未获得显著性能提升，表明在此设置下，奖励学习可能并不比策略学习更受益于RepL。