[论文解读] Hallucinative Topological Memory for Zero-Shot Visual Planning

Kara Liu, Thanard Kurutach+3 more|arXiv (Cornell University)|Feb 27, 2020

Multimodal Machine Learning Applications参考文献 27被引用 14

一句话总结

该论文提出霍尔辛纳拓扑记忆（HTM），一种零样本视觉规划方法，通过基于环境上下文的幻觉图像图在图像空间中直接进行规划。通过结合对比预测编码以实现稳定的连接学习，以及使用条件变分自编码器（VAE）实现领域泛化，HTM在复杂、未见环境中进行几何推理时，相较于最先进（SOTA）方法，取得了更高的成功率和可解释性规划结果。

ABSTRACT

In visual planning (VP), an agent learns to plan goal-directed behavior from observations of a dynamical system obtained offline, e.g., images obtained from self-supervised robot interaction. Most previous works on VP approached the problem by planning in a learned latent space, resulting in low-quality visual plans, and difficult training algorithms. Here, instead, we propose a simple VP method that plans directly in image space and displays competitive performance. We build on the semi-parametric topological memory (SPTM) method: image samples are treated as nodes in a graph, the graph connectivity is learned from image sequence data, and planning can be performed using conventional graph search methods. We propose two modifications on SPTM. First, we train an energy-based graph connectivity function using contrastive predictive coding that admits stable training. Second, to allow zero-shot planning in new domains, we learn a conditional VAE model that generates images given a context of the domain, and use these hallucinated samples for building the connectivity graph and planning. We show that this simple approach significantly outperform the state-of-the-art VP methods, in terms of both plan interpretability and success rate when using the plan to guide a trajectory-following controller. Interestingly, our method can pick up non-trivial visual properties of objects, such as their geometry, and account for it in the plans.

研究动机与目标

• 解决在真实数据采集不切实际的动态环境中进行零样本视觉规划的挑战。
• 通过直接在图像空间而非学习到的潜在空间中进行规划，提升规划的可解释性和鲁棒性。
• 通过基于上下文向量的条件化和幻觉生成相关图像状态，实现对未见环境的泛化能力。
• 通过用对比学习替代启发式分类器，克服拓扑记忆方法中的训练不稳定性。
• 证明几何推理能力可在视觉规划中从数据中自发涌现，而无需显式监督。

提出的方法

• HTM 构建一个拓扑记忆图，其中图像样本为节点，边表示可行的转移，通过基于对比预测编码的能量模型进行学习。
• 训练一个条件变分自编码器（VAE），以根据上下文向量（如障碍物布局）生成图像样本，从而实现在新环境中的零样本幻觉生成。
• 使用基于对比损失训练的能量函数学习图的连通性，相比标准二值分类器，显著提升了训练稳定性和规划质量。
• 规划作为最短路径推理问题进行，使用反向距离得分作为边权重，最大限度减少超参数调优。
• 该方法利用现有的离线数据和回放数据，实现在新配置下无需重新采集即可对真实图像进行规划。
• 该方法结合经典图搜索与深度生成建模，支持长时程、可解释的视觉规划。

实验结果

研究问题

• RQ1 在规划质量和成功率方面，图像空间中的视觉规划是否优于潜在空间中的规划？
• RQ2 拓扑记忆系统是否能在不重新采集数据的情况下，通过幻觉数据泛化到未见环境中？
• RQ3 与标准分类器相比，对比学习是否能提升拓扑记忆连通性学习的稳定性和性能？
• RQ4 物体的几何属性（如形状、方向）是否能从数据中隐式学习并在视觉规划中使用，而无需显式监督？
• RQ5 一种简单且可解释的规划方法是否能在零样本视觉规划任务中达到最先进性能？

主要发现

• 在积木墙任务中，HTM 在简单任务上达到 100% 成功率，在困难任务上达到 70%，优于视觉预见（Visual Foresight）的 60% 和 10%。
• 在积木插入任务中，HTM 在简单任务上实现 100% 成功率，在困难任务上达到 70%，而 Visual Foresight 因无法规划旋转动作而在多数困难任务中失败。
• HTM 有效规划了如旋转积木通过狭窄开口等复杂操作，展示了从数据中隐式学习几何推理的能力。
• 在 Sawyer 机器人仿真环境中，HTM 仅使用回放缓冲区中的真实图像，在 14 个未见测试任务中的 12 个成功生成了可行规划。
• 消融实验表明，使用对比能量模型和反向得分边权重显著降低了与目标的最终距离，优于 SPTM 基线方法。
• HTM 的规划结果比 SPTM 更具可解释性且更平滑，且几乎无需超参数调优。