[论文解读] Learning what you can do before doing anything

Oleh Rybkin, Karl Pertsch+3 more|arXiv (Cornell University)|Jun 25, 2018

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

该论文提出CLASP方法，通过训练一个随机视频预测模型，从纯无标签视频观测中学习代理动作空间的最小、可组合的潜在表征。该方法实现数据高效，仅需远少于监督方法的行动标签数量即可达到相似性能，并可在学习到的潜在动作空间中实现规划与控制。

ABSTRACT

Intelligent agents can learn to represent the action spaces of other agents simply by observing them act. Such representations help agents quickly learn to predict the effects of their own actions on the environment and to plan complex action sequences. In this work, we address the problem of learning an agent's action space purely from visual observation. We use stochastic video prediction to learn a latent variable that captures the scene's dynamics while being minimally sensitive to the scene's static content. We introduce a loss term that encourages the network to capture the composability of visual sequences and show that it leads to representations that disentangle the structure of actions. We call the full model with composable action representations Composable Learned Action Space Predictor (CLASP). We show the applicability of our method to synthetic settings and its potential to capture action spaces in complex, realistic visual settings. When used in a semi-supervised setting, our learned representations perform comparably to existing fully supervised methods on tasks such as action-conditioned video prediction and planning in the learned action space, while requiring orders of magnitude fewer action labels. Project website: https://daniilidis-group.github.io/learned_action_spaces

研究动机与目标

• 从纯视觉的无标签视频数据中学习代理动作空间，无需访问运动命令或动作标签。
• 开发一种将动作结构与静态场景内容及视觉外观解耦的表征。
• 仅使用少量标注的动作序列，实现高效下游任务，如动作条件视频预测与规划。
• 为动作表征学习提供一种数据高效的替代方案，以替代完全监督的方法。
• 在随机视频预测框架中建模动作的可组合性与最小性。

提出的方法

• 训练一个带有潜在变量的随机视频预测模型，以捕捉场景动态，同时最小化对静态世界状态的信息捕获。
• 引入可组合性损失，鼓励潜在表征支持动作的组合（例如，z1 和 z2 的组合应产生与 g(z1, z2) 相同的效果）。
• 通过约束潜在空间仅包含关于当前场景状态的最少信息，来实现最小性，聚焦于动态变化。
• 使用学习到的潜在表征，基于动作序列预测未来帧，实现在潜在动作空间中的规划。
• 使用简单的线性分类器从潜在空间解码动作标签，以验证动作结构解耦的有效性。
• 利用无标签视频的预训练，提升在仅含少量标注动作序列的半监督设置下的性能。

实验结果

研究问题

• RQ1 模型能否仅从无标签视频中学习代理动作空间的结构，而无需访问运动命令或动作标签？
• RQ2 在潜在空间中强制实施可组合性与最小性，是否能产生解耦且有意义的动作表征？
• RQ3 学习到的潜在动作空间能否在极少数标注数据下，实现有效的规划与动作条件视频预测？
• RQ4 该表征对视觉变化（如背景或物体外观变化）的鲁棒性如何？
• RQ5 只要动作空间兼容，该方法能否在不同视觉条件甚至不同代理之间实现泛化？

主要发现

• 即使仅使用100段标注动作的视频，CLASP在动作条件视频预测与规划任务上的性能仍可与完全监督方法相媲美，远少于监督基线方法所需的数量级。
• 模型在视觉变化下泛化良好：在随机CIFAR-10背景或改变抓取器机械臂尺寸的序列上测试时，仍能保持准确的动作空间发现与视觉伺服性能。
• 在低数据场景（100–1000段标注视频）下，由于无标签数据的有效预训练，CLASP显著优于监督基线方法。
• 学习到的潜在空间捕获了对视觉外观不变的动作语义，表现为在不同视觉条件下均保持一致的动作解码结果。
• 视觉伺服实验表明，模型可利用学习到的潜在动作空间实时重规划轨迹，仅需极少标注数据即可实现接近目标的低最终距离。
• 可组合性损失有效促使模型学习到解耦的动作表征，从而能从潜在空间中准确解码真实动作。