[论文解读] GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency

Omid Taheri, Yi Zhou+5 more|UvA-DARE (University of Amsterdam)|Aug 22, 2023

Human Pose and Action RecognitionComputer Science被引用 3

一句话总结

GRIP 是一种基于学习的方法，能够从噪声较大的 3D 身体和物体运动中生成逼真且时间一致的手-物体交互姿态。它利用去噪后的手臂运动、新型基于距离的手部传感器（环境传感器与接近传感器），以及结合潜在空间时间一致性的两阶段推理流程，合成单手和双手抓握的动态、无穿透手部姿态，在未见物体和数据集上的泛化能力和逼真度方面优于基线方法。

ABSTRACT

Hands are dexterous and highly versatile manipulators that are central to how humans interact with objects and their environment. Consequently, modeling realistic hand-object interactions, including the subtle motion of individual fingers, is critical for applications in computer graphics, computer vision, and mixed reality. Prior work on capturing and modeling humans interacting with objects in 3D focuses on the body and object motion, often ignoring hand pose. In contrast, we introduce GRIP, a learning-based method that takes, as input, the 3D motion of the body and the object, and synthesizes realistic motion for both hands before, during, and after object interaction. As a preliminary step before synthesizing the hand motion, we first use a network, ANet, to denoise the arm motion. Then, we leverage the spatio-temporal relationship between the body and the object to extract two types of novel temporal interaction cues, and use them in a two-stage inference pipeline to generate the hand motion. In the first stage, we introduce a new approach to enforce motion temporal consistency in the latent space (LTC), and generate consistent interaction motions. In the second stage, GRIP generates refined hand poses to avoid hand-object penetrations. Given sequences of noisy body and object motion, GRIP upgrades them to include hand-object interaction. Quantitative experiments and perceptual studies demonstrate that GRIP outperforms baseline methods and generalizes to unseen objects and motions from different motion-capture datasets.

研究动机与目标

• 为解决 3D 人-物体交互动画中缺乏逼真动态手部运动的问题，尤其是在手部数据缺失或存在噪声时。
• 实现预抓握、抓握和后抓握阶段中自动合成时间一致、物理上合理的手部姿态。
• 在无需手部特定标注的情况下，泛化于各种物体形状、尺寸和运动类型。
• 通过避免迭代优化实现实时推理，从而在动画和 XR 流程中实现实际部署。
• 通过添加准确、自然的手部交互，升级现有动作捕捉数据集，而无需重新捕捉手部数据。

提出的方法

• 使用去噪网络 ANet，基于输入的身体和物体序列，对噪声较大的手臂运动进行优化。
• 引入两种新型虚拟手部传感器：环境传感器捕捉手部更大作用范围内物体的形状与运动，接近传感器编码手部与物体表面之间的细粒度几何与距离特征。
• 采用两阶段推理流程：首先，一致性网络（CNet）利用时空线索在潜在空间中生成时间一致的手部姿态。
• 其次，优化网络（RNet）通过重新计算接近特征并减少手-物体穿透，提升姿态精度。
• 在 CNet 中强制实施潜在空间时间一致性（LTC），以确保帧间运动过渡平滑自然。
• 该方法在多个数据集（GRAB、InterCap）上进行训练与评估，并在未见物体和运动类型上测试泛化能力。

实验结果

研究问题

• RQ1 基于学习的方法能否仅从身体和物体运动中生成逼真、动态的手-物体交互姿态，而无需手部标注？
• RQ2 如何有效建模手部、身体与物体之间的时空交互线索，以指导手部姿态生成？
• RQ3 与后处理平滑相比，潜在空间时间一致性是否能提升生成手部运动的真实感与平滑度？
• RQ4 该模型在未见物体形状和来自不同数据集的新运动序列上的泛化能力达到何种程度？
• RQ5 该方法能否在保持高时间一致性与实时性能的同时，减少手-物体穿透？

主要发现

• GRIP 将穿透体积降低至 2.38 cm³（对比 GrabNet 的 2.65 cm³ 和 ManipNet 的 2.68 cm³），表明其在避免手-物体交叉方面具有更优精度。
• 所有测试序列的接触率均为 1.00，表明 GRIP 能够保持一致且合理的手-物体接触。
• GRIP 在左手指上的 MPVPE（逐顶点位置误差均值）为 6.17 mm，右手指为 7.88 mm，优于基线方法如 GrabNet（8.18 mm）和 ManipNet（7.78 mm）。
• 完整 GRIP 模型（含 RNet）相比最先进基线，在穿透率上提升 10%，并展现出对未见物体和运动的更好泛化能力。
• 结合 LTC 与优化的两阶段流程显著提升了运动质量，消融研究显示，RNet 相比无 RNet 的 GRIP 可使穿透减少 25%。
• GRIP 在未见数据集（如 InterCap）和物体类型上泛化良好，包括复杂双手抓握与精细捏握动作。