[論文レビュー] NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis

Nilesh Kulkarni, Davis Rempe+5 more|arXiv (Cornell University)|Jul 14, 2023

Human Pose and Action Recognition被引用数 8

ひとこと要約

NIFTY は、物体との相互作用を伴う現実的な3D人間モーションを、学習済みの物体相互作用場に guided された拡散モデルで実現し、アンカーポーズを起点とする自動合成データパイプラインで訓練します。座位や持ち上げタスクにおけるモーション品質と実現可能な物体相互作用を改善します。

ABSTRACT

We address the problem of generating realistic 3D motions of humans interacting with objects in a scene. Our key idea is to create a neural interaction field attached to a specific object, which outputs the distance to the valid interaction manifold given a human pose as input. This interaction field guides the sampling of an object-conditioned human motion diffusion model, so as to encourage plausible contacts and affordance semantics. To support interactions with scarcely available data, we propose an automated synthetic data pipeline. For this, we seed a pre-trained motion model, which has priors for the basics of human movement, with interaction-specific anchor poses extracted from limited motion capture data. Using our guided diffusion model trained on generated synthetic data, we synthesize realistic motions for sitting and lifting with several objects, outperforming alternative approaches in terms of motion quality and successful action completion. We call our framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.

研究の動機と目的

• シーンに依存しないモーションを超えた、物体相互作用を伴う現実的な3D人間モーションを動機付けること

提案手法

• 物体ジオメトリに対して条件付けする人間モーション拡散モデルを拡張する
• ガイダンスのためのポーズ多様体距離を出力する物体中心の相互作用場を導入する
• サンプリング品質を向上させるための分類子なしガイダンスを使用する
• アンカー pose でシードされた合成パイプラインからデータを用いて相互作用場を訓練する
• 時間反転済みの事前訓練モーションモデルを用いた大規模な相互作用モーションデータを自動合成する
• 複数の物体に対して座位と持ち上げの相互作用を、定量的および知覚的指標で評価する

実験結果

リサーチクエスチョン

• RQ1 物体ジオメトリに条件付けされた現実的な人間-物体相互作用モーションをどのように生成できるか？
• RQ2 学習した相互作用場は拡散サンプリングをガイドして貫通を減らし接触の現実感を高められるか？
• RQ3 アンカーポーズからの合成データ生成は、複数の物体に対して効果的な拡散および相互作用場モデルを訓練するのに十分か？
• RQ4 NIFTY フレームワークを用いて、さまざまな物体間で座位と持ち上げの相互作用はどう異なるか？

主な発見

• NIFTY は、物体へ到達する際の貫通を低く、現実的な接触を実現する点でベースラインより優れている。
• 学習済み相互作用場によるガイダンス付き拡散は、知覚的研究でのユーザー好みにおいてベースラインに対して高い値を示す（88-97%）。
• 合成相互作用データを用いた場合、低いスケルトン距離と高い接触 IoU を達成する。
• オフセットベクター相互作用場はスカラー距離場よりも性能が良いことをアブレーションで示す。
• アンカー pose でシードされた合成データパイプラインは、訓練に適した大規模で多様な相互作用データセットを生成できる。