[論文レビュー] Diffusion-based Generation, Optimization, and Planning in 3D Scenes

Siyuan Huang, Zan Wang+6 more|arXiv (Cornell University)|Jan 15, 2023

Human Pose and Action Recognition被引用数 6

ひとこと要約

SceneDiffuserは、条件付き3次元シーン生成、物理ベース最適化、目的志向計画のための統合的拡散ベースフレームワークを提案する。シーン、物理、目的条件によってガイドされた微分可能で反復的なサンプリングプロセスを通じて、軌道を同時にノイズ除去することで、事後分布の崩壊を軽減し、人間の運動、 grasping、ナビゲーションなどの多様な3次元タスクにおいて一貫性があり、物理的に妥当で汎用性の高い生成と計画を実現する。

ABSTRACT

We introduce SceneDiffuser, a conditional generative model for 3D scene understanding. SceneDiffuser provides a unified model for solving scene-conditioned generation, optimization, and planning. In contrast to prior works, SceneDiffuser is intrinsically scene-aware, physics-based, and goal-oriented. With an iterative sampling strategy, SceneDiffuser jointly formulates the scene-aware generation, physics-based optimization, and goal-oriented planning via a diffusion-based denoising process in a fully differentiable fashion. Such a design alleviates the discrepancies among different modules and the posterior collapse of previous scene-conditioned generative models. We evaluate SceneDiffuser with various 3D scene understanding tasks, including human pose and motion generation, dexterous grasp generation, path planning for 3D navigation, and motion planning for robot arms. The results show significant improvements compared with previous models, demonstrating the tremendous potential of SceneDiffuser for the broad community of 3D scene understanding.

研究の動機と目的

• 特に高次元の条件を伴う複雑で自然な3次元シーンにおける、シーン条件付き3次元生成モデルの事後分布の崩壊問題に対処すること。
• 従来分離されていた3次元シーン生成、物理ベース最適化、軌道計画のモジュールを、1つの微分可能フレームワークに統合すること。
• シーン認識、物理的妥当性、目的志向性を同時に最適化するエンドツーエンドで反復的かつガイドされたサンプリングを可能にすること。
• 生成プロセスに計画目的関数を統合することで、長時間計画や新規シーンへの転送における汎用性とロバスト性を向上させること。
• 後処理最適化や独立した計画モジュールによる一貫性の欠如や不自然さを解消し、最適化と計画を生成的サンプリングループ内に埋め込むこと。

提案手法

• 3次元シーン条件付き軌道を、統合的で反復的なサンプリングプロセスを通じてノイズ除去する条件付き拡散モデルを定式化すること。
• 物理的妥当性のための微分可能最適化を可能にするために、ノイズ除去中に物理ベースの目的関数を条件付きガイドとして統合すること。
• 目標位置に到達するよう促進する計画目的関数を用いて、目標条件を埋め込む。フレーム単位または最終フレームの損失の両方のオプションを提供する。
• 特定の軌道フレーム（例：開始または目的）を固定することで、構造的な計画を可能にするインpainting風のノイズ除去戦略を採用すること。
• 小さなMLPを用いて最適化ガイドのスケーリング要因を学習可能にすることで、ノイズ除去ステップ全体で物理的制約の重みを適応的に調整可能にする。
• タスク固有の条件付けと目的関数を用いることで、ポーズ生成、運動、 grasping、ナビゲーション、ロボットアーム運動など、多様なタスクに同じ拡散モデルとサンプリングプロセスを適用すること。

実験結果

リサーチクエスチョン

• RQ1 統合的拡散ベースフレームワークは、3次元シーン生成、物理ベース最適化、目的志向計画を一貫して同時に解決でき、一貫性と多様性が向上するか？
• RQ2 物理的および目的条件付きの反復的でガイドされたノイズ除去は、cVAEベースのモデルと比較して、3次元シーン生成における事後分布の崩壊をどの程度軽減するか？
• RQ3 最適化と計画を生成的サンプリングプロセスに統合することで、物理的妥当性と新規シーンへの汎用性はどの程度向上するか？
• RQ4 拡散ベース計画フレームワークにおいて、フレームを固定する最適な戦略（例：開始または目的）と、計画目的関数の設計（例：ターゲットへのL1距離）は何か？
• RQ5 1つの微分可能なモデルが、最小限のアーキテクチャ変更で、運動、 grasping、ナビゲーションを含む多様な3次元シーン理解タスクに一般化可能か？

主な発見

• 3次元ナビゲーション経路計画において、SceneDiffuserは75.69%の成功率を達成し、最終フレーム損失のみを用いる手法（57.06%）や指数変換を用いる手法（34.31%）を上回った。
• すべての軌道フレームを最適化することで、平均計画ステップ数を116.22（最終フレーム損失）から88.02に削減し、より効率的で一貫性のある計画が可能になった。
• 人間の運動生成において、SceneDiffuserは複雑な3次元屋内シーンを条件に、多様で物理的に妥当な運動を生成し、cVAEベースのモデルで一般的なモード崩壊を回避した。
• 器用なグリップ生成において、訓練データ外の3次元オブジェクトに対し、有効なグリップポーズを成功裏に生成し、学習データを超える強力な汎用性を示した。
• 物理的ガイドのための学習済みスケーリング要因は、ノイズ除去ステップに伴い減少し、初期のノイズの多い段階で過剰最適化を防ぐ適応的重み付けが行われていることが示唆された。
• アブレーション実験では、32フレームの軌道において最初の15フレームを固定すると、最良の計画性能が得られ、制約と柔軟性の最適なバランスが実現された。