[論文レビュー] GOAL: Generating 4D Whole-Body Motion for Hand-Object Grasping

Omid Taheri, Vasileios Choutas+2 more|arXiv (Cornell University)|Dec 21, 2021

Human Pose and Action Recognition被引用数 8

ひとこと要約

GOALは、未確認の3次元オブジェクトをグリップするアバター向けに、4次元全身運動を生成する最初の手法であり、全身、頭部、手、オブジェクトの相互作用を統合的にモデル化する。2つのネットワーク（GNetは接触を含む現実的なゴールグリップを予測し、MNetは開始からグリップまでの滑らかで物理的に妥当な運動シーケンスを生成）を用い、定量的指標および知覚的評価において最先端の現実性を達成している。

ABSTRACT

Generating digital humans that move realistically has many applications and is widely studied, but existing methods focus on the major limbs of the body, ignoring the hands and head. Hands have been separately studied, but the focus has been on generating realistic static grasps of objects. To synthesize virtual characters that interact with the world, we need to generate full-body motions and realistic hand grasps simultaneously. Both sub-problems are challenging on their own and, together, the state-space of poses is significantly larger, the scales of hand and body motions differ, and the whole-body posture and the hand grasp must agree, satisfy physical constraints, and be plausible. Additionally, the head is involved because the avatar must look at the object to interact with it. For the first time, we address the problem of generating full-body, hand and head motions of an avatar grasping an unknown object. As input, our method, called GOAL, takes a 3D object, its position, and a starting 3D body pose and shape. GOAL outputs a sequence of whole-body poses using two novel networks. First, GNet generates a goal whole-body grasp with a realistic body, head, arm, and hand pose, as well as hand-object contact. Second, MNet generates the motion between the starting and goal pose. This is challenging, as it requires the avatar to walk towards the object with foot-ground contact, orient the head towards it, reach out, and grasp it with a realistic hand pose and hand-object contact. To achieve this, the networks exploit a representation that combines SMPL-X body parameters and 3D vertex offsets. We train and evaluate GOAL, both qualitatively and quantitatively, on the GRAB dataset. Results show that GOAL generalizes well to unseen objects, outperforming baselines. GOAL takes a step towards synthesizing realistic full-body object grasping.

研究の動機と目的

• 仮想アバター向けに、全身、頭部、手、オブジェクトの相互作用を統合的に生成する手法の不足に対処すること。
• 歩行、頭部の向き、繊細な手のポーズを含む、グリップ中の身体、頭部、手、オブジェクト間の複雑な調整をモデル化すること。
• 未確認の3次元オブジェクトに対して、足と地面の接触および現実的な手とオブジェクトの接触を伴う物理的に妥当な運動を生成すること。
• 3次元オブジェクト、位置、初期の身体ポーズからエンドツーエンドで全身運動シーケンスを生成すること。
• 最適化を介して精錬されたSMPL-Xパラメータと3次元頂点オフセットの新規表現を用いて、現実性を向上させること。

提案手法

• GNetは、現実的な身体、頭部、腕、手のポーズおよび手とオブジェクトの接触を含む、ゴールとなる全身グリップを予測する条件付き変分オートエンコーダ（cVAE）である。
• MNetは、初期ポーズからゴールポーズまでの自己回帰的な方法で運動シーケンスを生成し、足と地面の接触および頭部の向きを段階的にモデル化する。
• 両ネットワークは、ユークリッド空間における3次元頂点オフセットを回帰し、それらを用いてSMPL-Xボディ変形を精錬し、ポーズの正確性を向上させる。
• オフラインの最適化ステップにより、予測されたSMPL-Xパラメータおよび頂点オフセットが精錬され、物理的妥当性および接触の現実性が向上する。
• 本手法はSMPL-Xをボディ表現として用い、全身および手のジオメトリを詳細にモデル化可能である。
• トレーニングおよび評価はGRABデータセット上で実施され、運動の現実性に関する定量的および知覚的評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、未確認の3次元オブジェクトをグリップする際の、手、頭部、身体の協調的な動きを含む現実的な4次元全身運動を生成できるか？
• RQ2 歩行、適切な足と地面の接触、オブジェクトへの頭部の向きを含む、全身運動生成を物理的に妥当にすることは可能か？
• RQ3 SMPL-Xパラメータと3次元頂点オフセットの統合表現は、生成されたグリップおよび運動の現実性と正確性を向上させられるか？
• RQ4 本モデルは、トレーニング時に見られなかった新しいオブジェクトに一般化できるか？
• RQ5 知覚的評価において、生成された運動は実際の人間の運動とどの程度現実性が一致するか？

主な発見

• 運動の現実性に関する平均知覚的評価は5点満点中3.79であり、正解データの4.22と比較して、人間評価において強い現実性を示している。
• 最終的な手とオブジェクトのグリップは参加者から3.66/5の評価を獲得し、ベースラインと比較してグリップ品質および接触の現実性が顕著に優れている。
• 足と地面の接触の現実性は3.88/5と高く、13.7％のフレームでの足の滑りが観察され、物理的妥当性が良好であることが示された。
• MNetの出力フレーム数を増やすことでポーズ誤差が低下する：V2Vボディ誤差は、出力フレーム数を1から10に増やすことで14.70から9.34に低下した。
• モデルは未確認のオブジェクトに対しても良好に一般化され、トレーニングデータに含まれない新しいオブジェクトに対しても、MNetは安定的かつ収束する運動を生成した。
• アブレーションスタディにより、MNetの各ステップでより多くの運動フレームを生成することで、精度と収束性が向上し、手がオブジェクトから逸脱するのを防げるようになった。