[论文解读] GOAL: Generating 4D Whole-Body Motion for Hand-Object Grasping

Omid Taheri, Vasileios Choutas+2 more|arXiv (Cornell University)|Dec 21, 2021

Human Pose and Action Recognition被引用 8

一句话总结

GOAL 是首个能够为虚拟角色在抓取未见过的3D物体时生成4D全身动作的方法，联合建模全身、头部、双手与物体之间的相互作用。它使用两个网络——GNet 用于预测包含接触信息的逼真目标抓握姿态，MNet 用于从起始姿态到目标抓握姿态生成平滑且符合物理规律的动作序列，在定量指标和感知评估中均达到当前最优的逼真度。

ABSTRACT

Generating digital humans that move realistically has many applications and is widely studied, but existing methods focus on the major limbs of the body, ignoring the hands and head. Hands have been separately studied, but the focus has been on generating realistic static grasps of objects. To synthesize virtual characters that interact with the world, we need to generate full-body motions and realistic hand grasps simultaneously. Both sub-problems are challenging on their own and, together, the state-space of poses is significantly larger, the scales of hand and body motions differ, and the whole-body posture and the hand grasp must agree, satisfy physical constraints, and be plausible. Additionally, the head is involved because the avatar must look at the object to interact with it. For the first time, we address the problem of generating full-body, hand and head motions of an avatar grasping an unknown object. As input, our method, called GOAL, takes a 3D object, its position, and a starting 3D body pose and shape. GOAL outputs a sequence of whole-body poses using two novel networks. First, GNet generates a goal whole-body grasp with a realistic body, head, arm, and hand pose, as well as hand-object contact. Second, MNet generates the motion between the starting and goal pose. This is challenging, as it requires the avatar to walk towards the object with foot-ground contact, orient the head towards it, reach out, and grasp it with a realistic hand pose and hand-object contact. To achieve this, the networks exploit a representation that combines SMPL-X body parameters and 3D vertex offsets. We train and evaluate GOAL, both qualitatively and quantitatively, on the GRAB dataset. Results show that GOAL generalizes well to unseen objects, outperforming baselines. GOAL takes a step towards synthesizing realistic full-body object grasping.

研究动机与目标

• 为解决当前缺乏能够联合生成虚拟角色全身、头部、双手与物体交互动作的方法的问题。
• 建模抓取过程中身体、头部、双手与物体之间的复杂协调关系，包括行走动作、头部朝向以及灵巧的手部姿态。
• 为未见过的3D物体生成具有足底与地面接触及逼真人手-物体接触的物理上合理的动作。
• 实现从3D物体、位置和初始身体姿态端到端生成全身动作序列。
• 通过一种新颖的表示方法（结合 SMPL-X 参数与3D顶点偏移），并借助优化方法提升真实感，从而提高逼真度。

提出的方法

• GNet 是一个条件变分自编码器（cVAE），用于预测包含逼真人体姿态、头部、手臂、手部姿态以及手-物体接触的完整全身目标抓握姿态。
• MNet 以自回归方式在初始姿态与目标姿态之间生成动作序列，逐步建模包含足底与地面接触及头部朝向的动作。
• 两个网络均回归欧氏空间中的3D顶点偏移，用于优化 SMPL-X 身体形变并提升姿态精度。
• 通过离线优化步骤，对预测的 SMPL-X 参数与顶点偏移进行优化，以增强物理合理性与接触真实感。
• 采用 SMPL-X 作为身体表示，支持对全身与手部几何的精细建模。
• 在 GRAB 数据集上进行训练与评估，通过定量与感知评估衡量动作逼真度。

实验结果

研究问题

• RQ1 深度学习模型能否生成包含协调的手部、头部与身体动作的逼真4D全身动作，用于抓取未见过的3D物体？
• RQ2 如何使全身动作生成具有物理合理性，包括正确的足底与地面接触及头部朝向物体？
• RQ3 SMPL-X 参数与3D顶点偏移的联合表示能否提升生成抓握与动作的逼真度与准确性？
• RQ4 该模型在训练中未见过的新物体上泛化能力如何？
• RQ5 在感知评估中，生成的动作在多大程度上与真实人类动作的逼真度相匹配？

主要发现

• 在人类评估中，GOAL 生成动作的平均感知评分达到 3.79/5，接近真实动作的 4.22/5，表明其具有极强的逼真度。
• 参与者对最终手-物体抓握姿态的评分为 3.66/5，显著优于基线方法，在抓握质量与接触真实感方面表现更优。
• 足底与地面接触的真实感评分为 3.88/5，仅有 13.7% 的帧出现脚滑现象，表明具有良好的物理合理性。
• 随着 MNet 输出帧数的增加，姿态误差降低：当输出帧数从 1 增加到 10 时，V2V 身体误差从 14.70 降至 9.34。
• 该模型对未见物体具有良好的泛化能力，即使在训练集中未出现的新物体上，MNet 仍能生成稳定且收敛的动作。
• 消融实验表明，MNet 每一步生成更多帧可提高精度与收敛性，有效防止手部偏离物体。