[论文解读] Dynamics Learning with Cascaded Variational Inference for Multi-Step Manipulation

Kuan Fang, Yuke Zhu+3 more|arXiv (Cornell University)|Oct 29, 2019

Robot Manipulation and Learning参考文献 27被引用 21

一句话总结

该论文提出了一种因子化动态规划器（FDP），通过级联变分推断学习多步机器人操作中的分层、解耦表征。通过将高层动态（规划）与低层动作采样分离，该模型提升了长时序推理能力，在清除、插入和穿越等复杂任务上的成功率优于基线方法，包括视觉MPC、CVAE-SBMP和SeCTAR。

ABSTRACT

The fundamental challenge of planning for multi-step manipulation is to find effective and plausible action sequences that lead to the task goal. We present Cascaded Variational Inference (CAVIN) Planner, a model-based method that hierarchically generates plans by sampling from latent spaces. To facilitate planning over long time horizons, our method learns latent representations that decouple the prediction of high-level effects from the generation of low-level motions through cascaded variational inference. This enables us to model dynamics at two different levels of temporal resolutions for hierarchical planning. We evaluate our approach in three multi-step robotic manipulation tasks in cluttered tabletop environments given high-dimensional observations. Empirical results demonstrate that the proposed method outperforms state-of-the-art model-based methods by strategically interacting with multiple objects.

研究动机与目标

• 为解决需要复杂多目标交互和从视觉观测中进行推理的长时序机器人操作挑战。
• 通过学习动态和动作的解耦表征，提升多阶段任务中的样本效率和规划准确性。
• 开发一种分层生成模型，将高层动态与动作采样分离，以提升泛化能力和可控性。
• 在具有动态约束和稀疏奖励的三个复杂桌面操作任务上评估该模型。
• 消融分析反事实正则化对提升鲁棒性和零样本泛化能力的影响。

提出的方法

• 采用具有两个潜在变量的级联变分推断框架：$c$ 用于高层动态（规划），$z$ 用于低层动作采样。
• 使用条件变分自编码器建模联合分布 $p(s_{t+1}, a_t | s_t, c)$，实现未来状态和动作的解耦生成。
• 引入反事实正则化（CFR）以通过在训练期间鼓励多样化且合理的轨迹来提升鲁棒性。
• 使用变分下界（ELBO）进行端到端训练，并采用近似推理以实现可扩展的推理。
• 为视觉观测使用共享编码器，以提取 $c$ 和 $z$ 的特征，确保规划与动作生成之间的一致性。
• 采用自洽的轨迹生成过程，其中状态和动作均基于相同的潜在码 $c$ 进行条件化，确保长时序规划的一致性。

实验结果

研究问题

• RQ1 与端到端基线相比，解耦的分层变分推断模型是否能提升多步操作任务中的长时序规划性能？
• RQ2 反事实正则化在提升规划器对未见任务配置的鲁棒性和泛化能力方面有何作用？
• RQ3 将动态建模与动作采样分离在复杂多目标环境中在多大程度上提升了样本效率和成功率？
• RQ4 FDP模型在成功率和规划多样性方面与视觉MPC、CVAE-SBMP和SeCTAR等最先进方法相比如何？
• RQ5 使用64维潜在空间（$c$ 32维，$z$ 32维）是否具备足够的容量以实现有效规划，同时保持解耦性？

主要发现

• FDP在所有三项任务（清除、插入和穿越）中的成功率均高于视觉MPC、CVAE-SBMP和SeCTAR。
• 消融研究显示，移除反事实正则化会导致性能显著下降，证实其在提升鲁棒性和泛化能力方面的作用。
• 该模型在未见任务配置下表现出优越的零样本泛化能力，尤其在具有随机桥布局的穿越任务中表现突出。
• 使用解耦的 $c$ 和 $z$ 潜在变量使规划更具可解释性和可控性，表现为在多种初始状态下均能生成一致的轨迹。
• 该模型保持了高样本效率，以比基线方法更少的轨迹 rollout 生成了有效的长时序规划。
• 对64维潜在空间（32+32）的消融实验表明，其性能与使用相同总维度的其他模型相当或更优，验证了分离设计的合理性。