[论文解读] Diffusion-based Generation, Optimization, and Planning in 3D Scenes

Siyuan Huang, Zan Wang+6 more|arXiv (Cornell University)|Jan 15, 2023

Human Pose and Action Recognition被引用 6

一句话总结

SceneDiffuser 提出了一种统一的基于扩散模型的框架，用于条件化3D场景生成、基于物理的优化以及目标导向的规划。通过在场景、物理和目标条件的引导下，对轨迹进行可微分的、迭代的采样过程联合去噪，该方法缓解了后验崩溃问题，并在人类运动、抓取和导航等多样化3D任务中实现了连贯、物理上合理且可泛化的生成与规划。

ABSTRACT

We introduce SceneDiffuser, a conditional generative model for 3D scene understanding. SceneDiffuser provides a unified model for solving scene-conditioned generation, optimization, and planning. In contrast to prior works, SceneDiffuser is intrinsically scene-aware, physics-based, and goal-oriented. With an iterative sampling strategy, SceneDiffuser jointly formulates the scene-aware generation, physics-based optimization, and goal-oriented planning via a diffusion-based denoising process in a fully differentiable fashion. Such a design alleviates the discrepancies among different modules and the posterior collapse of previous scene-conditioned generative models. We evaluate SceneDiffuser with various 3D scene understanding tasks, including human pose and motion generation, dexterous grasp generation, path planning for 3D navigation, and motion planning for robot arms. The results show significant improvements compared with previous models, demonstrating the tremendous potential of SceneDiffuser for the broad community of 3D scene understanding.

研究动机与目标

• 解决在复杂、自然的3D场景中，高维条件下的场景条件化3D生成模型中的后验崩溃问题。
• 将传统的3D场景生成、基于物理的优化与轨迹规划模块统一为一个可微分的框架。
• 实现端到端、迭代式且受引导的采样，联合优化场景感知、物理合理性与目标导向性。
• 通过在去噪过程中整合规划目标，提升长时程规划与新场景迁移中的泛化能力与鲁棒性。
• 通过将优化与规划嵌入生成采样循环中，克服后处理优化与独立规划模块带来的不一致与不合理性。

提出的方法

• 构建一个条件扩散模型，通过联合的、迭代的采样过程学习去噪3D场景条件化轨迹。
• 在去噪过程中整合基于物理的目标作为条件引导，实现对物理合理性的可微分优化。
• 通过规划目标函数实现目标条件化，鼓励轨迹抵达目标位置，支持逐帧或最终帧损失。
• 采用图像修复风格的去噪策略，固定某些轨迹帧（如起始或目标帧），实现结构化规划。
• 通过小型MLP学习一个可训练的缩放因子以调节优化引导，实现在去噪步骤中对物理约束的自适应加权。
• 通过任务特定的条件与目标，将相同的扩散模型与采样过程应用于多样化任务——姿态生成、运动、抓取、导航与机械臂运动。

实验结果

研究问题

• RQ1 统一的基于扩散模型的框架能否在提升一致性和多样性的同时，联合解决3D场景生成、基于物理的优化与目标导向规划？
• RQ2 与cVAE-based模型相比，通过物理与目标条件引导的迭代、受引导去噪在3D场景生成中如何减少后验崩溃？
• RQ3 将优化与规划整合到生成采样过程中，能在多大程度上提升物理合理性与在新场景中的泛化能力？
• RQ4 在基于扩散的规划框架中，固定帧（如起始或目标帧）与设计规划目标（如到目标的L1距离）的最佳策略是什么？
• RQ5 一个单一的可微分模型能否在极少架构修改下，泛化至多样化3D场景理解任务，包括运动、抓取与导航？

主要发现

• 在3D导航路径规划中，SceneDiffuser 达到了75.69%的成功率，优于仅使用最终帧损失的模型（57.06%）或指数变换方法（34.31%）。
• 当优化所有轨迹帧时，平均规划步数从116.22（最终帧损失）降低至88.02，表明规划更高效且更一致。
• 在人类运动生成中，SceneDiffuser 能够生成多样且物理上合理的运动，条件于复杂的3D室内场景，避免了cVAE-based模型常见的模式崩溃。
• 在灵巧抓取生成中，该模型成功为未见过的3D物体生成有效的抓取姿态，展现出超越训练数据的强泛化能力。
• 用于物理引导的可学习缩放因子在去噪过程中逐渐减小，表明实现了自适应加权，防止在早期噪声阶段过度优化。
• 消融实验表明，在32帧轨迹中固定前15帧可获得最佳规划性能，表明约束与灵活性之间达到了最佳平衡。