[论文解读] Interacting Attention Graph for Single Image Two-Hand Reconstruction

Mengcheng Li, Liang An+5 more|arXiv (Cornell University)|Mar 17, 2022

Anatomy and Medical Technology被引用 13

一句话总结

本文提出 IntagHand，这是首个基于图卷积网络（GCN）的单图双人手重建方法，引入了两种新颖的注意力模块：用于顶点与图像特征对齐的金字塔图像特征注意力（PIFA）和用于建模双手交互的跨手注意力（CHA）。该方法在 InterHand2.6M 基准测试中取得了最先进性能，MPJPE 为 8.79 mm，MPVPE 为 9.03 mm，显著优于先前方法。

ABSTRACT

Graph convolutional network (GCN) has achieved great success in single hand reconstruction task, while interacting two-hand reconstruction by GCN remains unexplored. In this paper, we present Interacting Attention Graph Hand (IntagHand), the first graph convolution based network that reconstructs two interacting hands from a single RGB image. To solve occlusion and interaction challenges of two-hand reconstruction, we introduce two novel attention based modules in each upsampling step of the original GCN. The first module is the pyramid image feature attention (PIFA) module, which utilizes multiresolution features to implicitly obtain vertex-to-image alignment. The second module is the cross hand attention (CHA) module that encodes the coherence of interacting hands by building dense cross-attention between two hand vertices. As a result, our model outperforms all existing two-hand reconstruction methods by a large margin on InterHand2.6M benchmark. Moreover, ablation studies verify the effectiveness of both PIFA and CHA modules for improving the reconstruction accuracy. Results on in-the-wild images and live video streams further demonstrate the generalization ability of our network. Our code is available at https://github.com/Dw1010/IntagHand.

研究动机与目标

• 为解决从单张 RGB 图像中重建相互作用的双手，尤其是在严重遮挡和外观混淆情况下的挑战。
• 克服现有基于 GCN 的方法在建模双手交互以及顶点与图像特征对齐方面效果不佳的局限性。
• 开发一种新型 GCN 框架，集成注意力机制，以提升网格重建精度和在真实场景图像中的泛化能力。

提出的方法

• IntagHand 采用端到端的粗到细 GCN 解码器，回归每只手的 3D 网格顶点，将单手 GCN 方法扩展至双人手场景。
• 金字塔图像特征注意力（PIFA）模块利用 Transformer 编码器，通过图像块的全局注意力机制，实现网格顶点与多分辨率图像特征的对齐。
• 跨手注意力（CHA）模块在两只手的顶点之间建立密集的交叉注意力，建模交互上下文，以消除遮挡区域的歧义。
• 设计了一种金字塔图像特征提取模块，以在每个上采样阶段提供高分辨率特征，增强细粒度对齐效果。
• 在每个 GCN 上采样块中集成 PIFA 与 CHA 模块，提升顶点-图像对齐效果与双手间的一致性。
• 该框架在 InterHand2.6M 数据集上进行端到端训练，并在基准数据集和真实场景图像上进行评估。

实验结果

研究问题

• RQ1 基于 GCN 的架构能否有效从单张 RGB 图像中重建出相互作用的双手，克服相互遮挡和外观混淆？
• RQ2 在无显式关键点监督的情况下，如何在网格回归框架中改进顶点与图像特征的对齐？
• RQ3 手部顶点之间的交叉注意力在多大程度上能建模双手交互，并减少遮挡区域的重建误差？
• RQ4 多分辨率图像特征的引入是否能提升 3D 手部网格重建的准确性？
• RQ5 与现有 SOTA 方法相比，该方法在真实世界场景的自然图像和实时视频流中的泛化能力如何？

主要发现

• 在 InterHand2.6M 基准测试中，IntagHand 取得 8.79 mm 的 MPJPE 和 9.03 mm 的 MPVPE，相比之前 SOTA 方法在 MPJPE 上提升了 4.7 mm。
• 消融实验表明，PIFA 与 CHA 模块均具有显著贡献，其中 PIFA 改善了对齐效果，CHA 降低了遮挡相关误差。
• 移除 PIFA 模块后，MPJPE 增加 0.89 mm；移除 CHA 模块后，MPJPE 增加 0.63 mm，证明了二者各自的优越性。
• 金字塔图像特征结构相比单分辨率特征表现更优，其中 IFA-32 与 IFA-8 的结果优于非金字塔基线模型。
• 在真实场景图像和实时视频流上的定性结果表明，该方法能稳健重建灵活且被遮挡的手部姿态。
• 该方法在真实世界场景中泛化能力出色，可实现实时、高质量且时序一致的网格重建。