[论文解读] ACR: Attention Collaboration-based Regressor for Arbitrary Two-Hand Reconstruction

Zhengdi Yu, Shaoli Huang+3 more|arXiv (Cornell University)|Mar 10, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

ACR 提出了一种基于注意力协作的回归器，用于从单目 RGB 图像中实现任意双人手 3D 重建，通过中心点和基于部件的注意力机制解耦手部表征，降低对遮挡和截断的敏感性。在 InterHand2.6M 数据集上（8.49 MPJPE）优于最先进的人手交互方法，在 FreiHand 数据集上达到与单人手 SOTA 相当的性能，展现出在真实世界和复杂场景下的鲁棒性。

ABSTRACT

Reconstructing two hands from monocular RGB images is challenging due to frequent occlusion and mutual confusion. Existing methods mainly learn an entangled representation to encode two interacting hands, which are incredibly fragile to impaired interaction, such as truncated hands, separate hands, or external occlusion. This paper presents ACR (Attention Collaboration-based Regressor), which makes the first attempt to reconstruct hands in arbitrary scenarios. To achieve this, ACR explicitly mitigates interdependencies between hands and between parts by leveraging center and part-based attention for feature extraction. However, reducing interdependence helps release the input constraint while weakening the mutual reasoning about reconstructing the interacting hands. Thus, based on center attention, ACR also learns cross-hand prior that handle the interacting hands better. We evaluate our method on various types of hand reconstruction datasets. Our method significantly outperforms the best interacting-hand approaches on the InterHand2.6M dataset while yielding comparable performance with the state-of-the-art single-hand methods on the FreiHand dataset. More qualitative results on in-the-wild and hand-object interaction datasets and web images/videos further demonstrate the effectiveness of our approach for arbitrary hand reconstruction. Our code is available at https://github.com/ZhengdiYu/Arbitrary-Hands-3D-Reconstruction.

研究动机与目标

• 解决在遮挡、截断和相互混淆等任意场景下的 3D 手部重建挑战。
• 通过解耦表征减少手部与身体部位之间的依赖关系，从而提升对不完整或受损输入的鲁棒性。
• 在降低手部间相互依赖关系的同时，仍保持强交互建模能力，确保对相互作用手部的精确重建。
• 开发一种可泛化至非受限双人手输入的方法，实现在真实世界场景（如野外图像和视频）中的实际部署。

提出的方法

• ACR 采用注意力编码器（AE），利用跨手先验生成手部中心和各部件的注意力图，以估计可见性并指导特征学习。
• 其采用一种新颖的基于注意力协作的特征聚合模块（ACFA），融合全局（G）、基于部件（P）和跨手注意力先验（C）表征，实现协作式手部回归。
• 带有交互场的跨手先验推理模块可动态调整手部间的依赖强度，增强对相互作用的建模能力。
• 该方法端到端可训练，无需手部边界框或真实尺度监督，适用于真实世界场景部署。
• 其利用参数化手部模型（如 MANO）进行 3D 网格回归，并通过 3D 关键点和网格标注进行监督。
• 网络在多场景数据集上使用标准 3D 手部重建损失（如 MPJPE、MPVPE）进行训练。

实验结果

研究问题

• RQ1 3D 手部重建方法能否在无需输入双人手交互的前提下，泛化至任意手部构型（如截断、分离或遮挡的手）？
• RQ2 如何显式缓解手部之间及手部各部件之间的相互依赖关系，以提升对部分遮挡和截断的鲁棒性？
• RQ3 跨手先验推理在减少相互依赖关系后，能在多大程度上补偿并保持复杂场景下准确的交互建模？
• RQ4 与统一特征学习相比，所提出的注意力协作机制在多样化数据集上的性能和泛化能力如何？

主要发现

• ACR 在 InterHand2.6M 交互手（IH）子集上实现了最低的 8.49 MPJPE，优于先前的 SOTA 方法 IntagHand。
• 在 FreiHand 单人手基准上，ACR 达到 6.91 MPJPE，与最先进单人手方法相当，展现出强大的泛化能力。
• 消融实验证实，基于部件和跨手先验表征均显著提升性能，其中跨手先验在交互手场景中表现更优。
• 在野外图像、视频及手-物体交互数据集上的定性结果表明，即使在严重遮挡和非标准姿态下，也能实现精确重建。
• 该方法对输入变化（如单手、第一视角、截断手）具有鲁棒性，证明其在真实世界应用中的实用性。
• 当结合全局、部件和跨手先验表征时，ACR 在完整 InterHand2.6M 数据集上达到 5.21 PAMPJPE，表明整体性能强劲。