[论文解读] Adaptive Graphical Model Network for 2D Handpose Estimation

Deying Kong, Yifei Chen+3 more|arXiv (Cornell University)|Sep 18, 2019

Human Pose and Action Recognition参考文献 27被引用 16

一句话总结

该论文提出了一种自适应图模型网络（AGMN），这是一种新颖的深度学习框架，包含两个并行的深度卷积神经网络分支：一个用于预测一元势（关键点热图），另一个用于回归自适应的成对势参数，随后通过图模型推理模块进行消息传递。其主要贡献在于，图模型参数可完全根据单个输入图像自适应调整，显著提升了2D手部姿态估计的准确性，尤其在严重遮挡情况下，相较于最先进方法CPM，在CMU Panoptic数据集上的PCK@0.05指标最高提升3.45%。

ABSTRACT

In this paper, we propose a new architecture called Adaptive Graphical Model Network (AGMN) to tackle the task of 2D hand pose estimation from a monocular RGB image. The AGMN consists of two branches of deep convolutional neural networks for calculating unary and pairwise potential functions, followed by a graphical model inference module for integrating unary and pairwise potentials. Unlike existing architectures proposed to combine DCNNs with graphical models, our AGMN is novel in that the parameters of its graphical model are conditioned on and fully adaptive to individual input images. Experiments show that our approach outperforms the state-of-the-art method used in 2D hand keypoints estimation by a notable margin on two public datasets. Code can be found at https://github.com/deyingk/agmn.

研究动机与目标

• 为解决2D手部姿态估计中几何不一致性和模糊性问题，尤其是在严重自遮挡情况下的挑战。
• 通过实现图模型参数的图像特定自适应，克服现有DCNN-GM融合方法中固定共享图模型参数的局限性。
• 开发一种端到端可训练的框架，结合深度特征学习与结构化推理，以提升关键点定位性能。
• 证明自适应图模型可显著提升在真实世界、遮挡严重的数据集上的性能表现。

提出的方法

• AGMN架构由两个并行的DCNN分支组成：一个分支回归每个手部关节的一元势（热图），另一个分支从输入图像回归图模型的成对势参数。
• 成对势参数根据每张输入图像动态生成，使图模型能够完全适应输入特定的配置。
• 图模型推理通过消息传递实现，采用一系列2D卷积操作，以确保高效性与端到端可微性。
• 整个网络通过多组件损失函数进行端到端训练，该损失函数结合了热图回归与结构化预测目标。
• 框架采用VGG-19作为主干网络进行特征提取，并为一元分支与成对分支提供分辨率匹配的输出，以保持空间一致性。
• 通过使用平衡损失系数（α₁=1, α₂=0.1, α₃=0.1）的微调阶段，进一步优化两个分支的联合优化，从而提升性能。

实验结果

研究问题

• RQ1 基于单个输入图像的条件，自适应图模型参数是否能优于固定参数的图模型，从而提升2D手部姿态估计性能？
• RQ2 图像自适应成对势的引入是否能减少关键点预测中的几何不一致性和模糊性，尤其是在遮挡情况下？
• RQ3 所提出的AGMN框架是否能在具有不同遮挡程度和复杂度的基准数据集上超越最先进方法CPM？
• RQ4 自适应图模型在低PCK阈值下的性能提升程度如何，反映出更精细的定位准确性？

主要发现

• 在CMU Panoptic Hand Dataset上，AGMN在微调后相较于CPM基线在PCK@0.05指标上实现了3.45%的提升，当分支单独训练时，仍实现了2.12%的提升。
• 在Large-scale Multiview 3D Hand Pose Dataset上，AGMN在PCK@0.01指标上实现了3.27%的提升，表明在高精度阈值下也具备强大性能。
• 自适应图模型在低半径阈值下显著提升了准确性，反驳了‘空间模型在这些阈值下影响有限’的说法。
• 定性结果表明，AGMN减少了预测模糊性并提升了关键点的一致性，尤其在高度遮挡情况下表现更优。
• 上限实验（使用真实相对位置）证实，AGMN与理论最大性能之间的差距较小，表明所提出的自适应机制具有高效率。
• 通过将消息传递实现为一系列2D卷积操作，该方法保持了高效率，支持端到端训练与实时推理。