[論文レビュー] GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency

Omid Taheri, Yi Zhou+5 more|UvA-DARE (University of Amsterdam)|Aug 22, 2023

Human Pose and Action RecognitionComputer Science被引用数 3

ひとこと要約

GRIP は、ノイズの多い 3D ボディおよびオブジェクトの運動から、現実的で時間的に一貫性のある手とオブジェクトのインタラクションポーズを生成する学習ベースの手法である。ノイズ除去された腕の運動、新規の距離ベースの手センサー（Ambient および Proximity）、および潜在空間における時間的一貫性を考慮した二段階の推論パイプラインを用いることで、単一および二本の手による grasps に対して動的で貫通のない手のポーズを合成する。本手法は、未観測のオブジェクトやデータセットにおいて、一般化性能および現実性の面でベースラインを上回る性能を発揮する。

ABSTRACT

Hands are dexterous and highly versatile manipulators that are central to how humans interact with objects and their environment. Consequently, modeling realistic hand-object interactions, including the subtle motion of individual fingers, is critical for applications in computer graphics, computer vision, and mixed reality. Prior work on capturing and modeling humans interacting with objects in 3D focuses on the body and object motion, often ignoring hand pose. In contrast, we introduce GRIP, a learning-based method that takes, as input, the 3D motion of the body and the object, and synthesizes realistic motion for both hands before, during, and after object interaction. As a preliminary step before synthesizing the hand motion, we first use a network, ANet, to denoise the arm motion. Then, we leverage the spatio-temporal relationship between the body and the object to extract two types of novel temporal interaction cues, and use them in a two-stage inference pipeline to generate the hand motion. In the first stage, we introduce a new approach to enforce motion temporal consistency in the latent space (LTC), and generate consistent interaction motions. In the second stage, GRIP generates refined hand poses to avoid hand-object penetrations. Given sequences of noisy body and object motion, GRIP upgrades them to include hand-object interaction. Quantitative experiments and perceptual studies demonstrate that GRIP outperforms baseline methods and generalizes to unseen objects and motions from different motion-capture datasets.

研究の動機と目的

• 手のデータが欠落している、またはノイズが強い状況においても、現実的で動的な手の動きが欠落している 3D ヒューマンオブジェクトインタラクションのアニメーション問題に対処すること。
• プリグラス、グラス、ポストグラスの各フェーズにおいて、時間的に一貫性があり物理的に妥当な手のポーズを自動で合成できること。
• 手に特化したアノテーションを必要とせず、多様なオブジェクトの形状、サイズ、運動タイプに一般化できること。
• 反復的最適化を回避することで、リアルタイム推論を実現し、アニメーションおよび XR パイプラインにおける実用的導入を可能にすること。
• 既存のモーションキャプチャデータセットを、再キャプチャを伴わずに正確で自然な手のインタラクションを追加することでアップグレードすること。

提案手法

• 入力のボディおよびオブジェクトシーケンスからのノイズの多い腕の運動を精錬するために、denoising ネットワーク ANet を使用する。
• 2 つの新規仮想手センサーを導入する：Ambient センサーは手の広い到達範囲内でのオブジェクトの形状と運動を捉え、Proximity センサーは手とオブジェクトの表面間の詳細な幾何学的および距離特徴を符号化する。
• 二段階の推論パイプラインを採用する：まず、CNet が空間的・時間的ヒントを用いて潜在空間で時間的一貫性のある手のポーズを生成する。
• 次に、RNet が再計算された近接特徴と手オブジェクトの貫通を低減させることでポーズの正確性を向上させる。
• CNet において潜在空間における時間的一貫性（LTC）を強制することで、フレーム間での滑らかで自然な動きの遷移を保証する。
• 本手法は複数のデータセット（GRAB、InterCap）で訓練および評価され、未観測のオブジェクトや運動タイプにおける一般化性能がテストされた。

実験結果

リサーチクエスチョン

• RQ1 手のアノテーションを一切必要とせず、ボディおよびオブジェクトの運動からのみ、現実的で動的な手オブジェクトインタラクションポーズを学習ベースの手法が生成可能か？
• RQ2 手、ボディ、オブジェクト間の空間的・時間的インタラクションヒントを効果的にモデル化することで、手のポーズ生成を効果的に誘導できるか？
• RQ3 潜在空間における時間的一貫性は、後処理による平滑化と比較して、生成された手の動きの現実性および滑らかさを向上させられるか？
• RQ4 本モデルは、未観測のオブジェクト形状および他のデータセットからの新しい運動シーケンスにどの程度一般化できるか？
• RQ5 本手法は、高い時間的一貫性とリアルタイム性能を維持しながら、手オブジェクトの貫通を低減できるか？

主な発見

• GRIP は貫通体積を 2.38 cm³ に低減した（GrabNet では 2.65 cm³、ManipNet では 2.68 cm³）。手オブジェクトの干渉を回避する精度が優れていることを示している。
• 全テストシーケンスで接触比が 1.00 に保たれており、GRIP が手とオブジェクト間の一貫性があり妥当な接触を維持していることを示している。
• 左手指の MPVPE（平均頂点位置誤差）は 6.17 mm、右手指は 7.88 mm であり、ベースライン（GrabNet：8.18 mm、ManipNet：7.78 mm）を上回る性能を発揮している。
• RNet を含む完全な GRIP モデルは、最先端のベースラインと比較して貫通率に 10% の改善を示し、未観測のオブジェクトや運動に優れた一般化性能を示している。
• LTC とリファインメントを組み合わせた二段階パイプラインは、動きの質を顕著に向上させ、アブレーションスタディでは RNet を含む GRIP が RNet を含まない GRIP と比較して貫通を 25% 減少させた。
• GRIP は、未観測のデータセット（例：InterCap）およびオブジェクトタイプ、特に複雑な二本の手によるグリップや繊細なピンチング動作に対しても、効果的に一般化している。