[论文解读] Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation

Zicong Fan, Adrian Spurr+4 more|arXiv (Cornell University)|Jul 1, 2021

Human Pose and Action Recognition被引用 6

一句话总结

本文提出 DIGIT，一种新颖的端到端深度学习方法，用于从单目图像中估计交互手部的3D姿态。通过联合预测每个像素的部件分割概率，并将其与视觉特征融合，DIGIT 有效降低了由自相似性引起的歧义，在 InterHand2.6M 数据集上实现了最先进性能，测试集上的 MPJPE 为 16.55mm。

ABSTRACT

In natural conversation and interaction, our hands often overlap or are in contact with each other. Due to the homogeneous appearance of hands, this makes estimating the 3D pose of interacting hands from images difficult. In this paper we demonstrate that self-similarity, and the resulting ambiguities in assigning pixel observations to the respective hands and their parts, is a major cause of the final 3D pose error. Motivated by this insight, we propose DIGIT, a novel method for estimating the 3D poses of two interacting hands from a single monocular image. The method consists of two interwoven branches that process the input imagery into a per-pixel semantic part segmentation mask and a visual feature volume. In contrast to prior work, we do not decouple the segmentation from the pose estimation stage, but rather leverage the per-pixel probabilities directly in the downstream pose estimation task. To do so, the part probabilities are merged with the visual features and processed via fully-convolutional layers. We experimentally show that the proposed approach achieves new state-of-the-art performance on the InterHand2.6M dataset. We provide detailed ablation studies to demonstrate the efficacy of our method and to provide insights into how the modelling of pixel ownership affects 3D hand pose estimation.

研究动机与目标

• 为解决交互手部3D姿态估计中的挑战，其中自相似性和遮挡导致高度歧义。
• 减少因外观相似的两隻手之间像素归属模糊导致的姿态估计误差。
• 通过显式建模部件分割为概率性、端到端可微组件，并与视觉特征集成，从而提升性能。
• 证明利用像素级分割概率（而非离散标签）可提升姿态估计精度。

提出的方法

• DIGIT 使用双分支、交错连接的网络架构，将输入图像同时处理为每个像素的语义部件分割掩码和视觉特征体积。
• 分割分支输出每个像素的未归一化对数几率（完整概率分布），以保留不确定性，供下游任务使用。
• 将这些像素级分割概率与视觉特征拼接，并通过全卷积层处理，生成融合的特征表示。
• 网络采用多任务损失进行端到端训练，结合3D姿态估计（MPJPE）和部件分割（交叉熵），实现联合优化。
• 该方法引入骨骼长度损失，以正则化关节约束预测，提升几何一致性。
• 与以往将分割与姿态估计解耦的方法不同，DIGIT 将分割概率直接集成到姿态估计分支中，实现不确定性感知的特征融合。

实验结果

研究问题

• RQ1 建模像素级部件分割概率在交互手部场景中如何提升3D手部姿态估计？
• RQ2 通过对数几率（logits）表示的分割不确定性，在姿态估计中相比使用离散分割标签，其性能提升程度如何？
• RQ3 将分割与姿态估计进行端到端联合训练，是否优于解耦训练？
• RQ4 所提方法如何减少外观相似手部因自相似性导致的歧义？
• RQ5 分割监督对相对手部位置估计（MRRPE）的贡献是什么？

主要发现

• DIGIT 在 InterHand2.6M 数据集的测试集上实现了 16.55mm 的 MPJPE，创下新的最先进性能记录。
• 消融实验表明，与仅使用骨骼损失的基线相比，使用分割概率（SF）在验证集上将 MPJPE 降低 1.38mm，在测试集上降低 0.99mm。
• 仅使用分割损失（SL）即可在测试集上将 MRRPE 改善 5.97mm，表明因歧义减少，相对手部位置估计更优。
• 使用对数几率而非离散类别标签作为分割特征，带来显著性能提升，表明保留不确定性至关重要。
• 与仅使用骨骼损失的基线相比，该方法在 MRRPE 上提升 5.97mm，证明对相对手部位置的估计能力显著增强。
• 消融实验确认性能提升源于分割概率的集成，而非额外参数的引入，因为无分割监督的模型性能与基线相近。