[论文解读] Long-Horizon Visual Planning with Goal-Conditioned Hierarchical Predictors

Karl Pertsch, Oleh Rybkin+4 more|arXiv (Cornell University)|Jun 23, 2020

Multimodal Machine Learning Applications参考文献 69被引用 27

一句话总结

本文提出了一种目标条件化的分层预测器（GCPs），用于长时程视觉规划，通过基于目标的条件化和多时间尺度的递归细化，实现高效、粗粒度到细粒度的轨迹预测。该方法在长时程视觉导航任务中达到最先进性能，显著优于先前方法，在规划效率和序列长度可扩展性方面表现优异，成功在随机探索数据生成的500步视频序列上执行任务。

ABSTRACT

The ability to predict and plan into the future is fundamental for agents acting in the world. To reach a faraway goal, we predict trajectories at multiple timescales, first devising a coarse plan towards the goal and then gradually filling in details. In contrast, current learning approaches for visual prediction and planning fail on long-horizon tasks as they generate predictions (1) without considering goal information, and (2) at the finest temporal resolution, one step at a time. In this work we propose a framework for visual prediction and planning that is able to overcome both of these limitations. First, we formulate the problem of predicting towards a goal and propose the corresponding class of latent space goal-conditioned predictors (GCPs). GCPs significantly improve planning efficiency by constraining the search space to only those trajectories that reach the goal. Further, we show how GCPs can be naturally formulated as hierarchical models that, given two observations, predict an observation between them, and by recursively subdividing each part of the trajectory generate complete sequences. This divide-and-conquer strategy is effective at long-term prediction, and enables us to design an effective hierarchical planning algorithm that optimizes trajectories in a coarse-to-fine manner. We show that by using both goal-conditioning and hierarchical prediction, GCPs enable us to solve visual planning tasks with much longer horizon than previously possible.

研究动机与目标

• 解决当前视觉规划方法在长时程任务中可扩展性的局限性。
• 通过将预测条件化于目标，减少可能轨迹的搜索空间。
• 通过采用分层、多尺度预测而非逐步生成，提升长期预测的准确性。
• 通过利用目标条件化与分层建模，实现在次优或随机训练数据上的有效规划。
• 通过概率动态时间规整公式，建模长时程任务中灵活的时间结构。

提出的方法

• 提出潜在空间目标条件化预测器（GCPs），其预测轨迹同时基于初始状态和目标状态，将搜索空间缩小至仅目标可达的轨迹。
• 设计一种分层预测框架，其中单个模块预测两个观测之间的中间状态，递归地将轨迹划分为更细的片段。
• 采用树状结构的递归预测机制，支持粗粒度到细粒度的规划，并实现各层级间的并行化。
• 引入概率动态时间规整公式，允许中间预测的灵活定位，适应不同持续时间的子任务。
• 使用可微分对齐机制，通过前向-后向递推关系在二次时间复杂度内计算期望重建损失。
• 在解码头中应用方差重加权，以识别瓶颈帧，促使高层节点绑定到更易预测的帧。

实验结果

研究问题

• RQ1 目标条件化预测是否能显著减少长时程视觉规划中的搜索空间？
• RQ2 与自回归的逐步预测相比，分层的、粗粒度到细粒度的预测是否能提升长期视觉序列生成性能？
• RQ3 即使在次优或随机探索数据上进行训练，模型是否仍能泛化到长时程任务？
• RQ4 动态时间规整的集成如何改善长时程序列中可变持续时间子任务的建模？
• RQ5 分层结构在多大程度上实现了高效的并行化并降低了运行时复杂度？

主要发现

• GCP-Tree方法在随机探索数据上的平均轨迹长度为42.6，显著短于训练数据的62.6，表明规划能力得到有效提升。
• 该模型仅使用随机探索数据，成功在9房间环境中完成导航任务的规划与执行，展现出对低质量数据的鲁棒性。
• 通过在每一层并行处理独立分支，分层结构将运行时复杂度从O(T)降低至O(log T)。
• 该方法可扩展至500步的视频序列，实现了超越先前视觉规划方法能力范围的长时程规划。
• 解码头中的方差重加权成功识别出瓶颈帧，提升了模型对可预测片段的关注度。
• 所提出的框架在长时程视觉导航任务中，无论是规划效率还是轨迹质量，均优于顺序基线方法。