[论文解读] Experience-Embedded Visual Foresight

Yen-Chen Lin, Maria Bauzá+1 more|arXiv (Cornell University)|Nov 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 14

一句话总结

该论文提出了一种经验嵌入视觉前瞻（Experience-Embedded Visual Foresight, EVF）的元学习框架，通过仅使用少量观察到的交互视频，实现视觉预测模型对新物体的快速适应。通过将这些经验编码为动态上下文嵌入，EVF 以条件方式控制一个循环视频预测网络，生成在物理上合理的未来帧，显著提升了在现实世界机器人任务中对未见过物体的视觉模型预测控制性能。

ABSTRACT

Visual foresight gives an agent a window into the future, which it can use to anticipate events before they happen and plan strategic behavior. Although impressive results have been achieved on video prediction in constrained settings, these models fail to generalize when confronted with unfamiliar real-world objects. In this paper, we tackle the generalization problem via fast adaptation, where we train a prediction model to quickly adapt to the observed visual dynamics of a novel object. Our method, Experience-embedded Visual Foresight (EVF), jointly learns a fast adaptation module, which encodes observed trajectories of the new object into a vector embedding, and a visual prediction model, which conditions on this embedding to generate physically plausible predictions. For evaluation, we compare our method against baselines on video prediction and benchmark its utility on two real-world control tasks. We show that our method is able to quickly adapt to new visual dynamics and achieves lower error than the baselines when manipulating novel objects.

研究动机与目标

• 解决视觉前瞻模型在遇到具有未知动力学特性的新现实世界物体时的泛化失败问题。
• 仅使用少量观察到的交互视频，实现对新物体的快速适应，模拟人类从经验中快速学习的能力。
• 提升在涉及此前未见过物体的真实世界机器人操作任务中，视觉模型预测控制（视觉MPC）的性能。
• 学习一个解耦的、动态的嵌入空间，使物体属性（如质量、形状）得以编码，并可在新实例间泛化。

提出的方法

• EVF 使用一个可学习的经验编码器，将少量新物体的观察视频轨迹压缩为低维上下文嵌入。
• 该上下文嵌入作为辅助信息，用于条件化一个循环视觉预测网络，该网络基于当前观测、动作和嵌入上下文生成未来帧。
• 模型通过元学习端到端训练，其中经验编码器充当快速学习器，利用少量样本将预测模型适配到新物体。
• 该框架被形式化为一个分层贝叶斯模型，其中物体动力学被视为从观察经验中推断出的隐变量。
• 系统通过变分推理目标联合优化经验编码器和视频预测网络，实现表示与预测的联合学习。
• 该方法通过利用学习到的嵌入空间的度量结构，支持零样本泛化，使得动力学相似的物体在嵌入空间中彼此靠近。

实验结果

研究问题

• RQ1 视觉预测模型能否仅使用少量观察到的交互视频，快速适应新物体？
• RQ2 在真实环境中，通过使用先前经验的可学习上下文嵌入来条件化预测，是否能提升对未见物体的泛化能力？
• RQ3 学习到的嵌入空间能否捕捉物体的有意义物理属性（如质量、形状），从而实现零样本泛化？
• RQ4 在视频预测和视觉MPC性能方面，EVF与基于梯度的元学习基线相比表现如何？
• RQ5 EVF能否提升真实世界机器人任务（如物体重新定位和轨迹跟踪）中视觉模型预测控制的准确性？

主要发现

• 在视频预测和视觉MPC任务中，EVF在未见物体上的预测误差显著低于基线模型，重新定位任务的平均误差为36.2 mm，轨迹跟踪任务的平均误差为27.5 mm。
• 在KTH动作数据集中，EVF在所有指标（LPIPS、PSNR、SSIM）上均优于SAVP、SAVP-F和SAVP-MAML，生成的未来帧更具真实感和稳定性。
• t-SNE可视化结果证实，上下文嵌入按物理属性聚类：即使在训练中未见过，质量与形状相似的物体在嵌入空间中也彼此靠近。
• 在Omnipush数据集中，EVF将轨迹跟踪的中位数误差从SAVP的59.5 mm降低至48.6 mm，证明了其更高的物理合理性。
• 该方法在机器人领域之外也展现出对多样化领域的有效泛化能力，如人类动作视频中也取得了出色的定性结果。
• 经验编码器成功从极少的交互数据中捕捉了动态属性，实现了无需动作标签的快速且准确的适应。