[论文解读] FBI-Pose: Towards Bridging the Gap between 2D Images and 3D Human Poses using Forward-or-Backward Information

Yulong Shi, Xiaoguang Han+4 more|arXiv (Cornell University)|Jun 25, 2018

Human Pose and Action Recognition参考文献 31被引用 12

一句话总结

本文提出FBI-Pose，一种新颖的框架，通过引入肢体骨骼的前向/后向信息（FBI）作为弱监督信号，弥合了2D图像与3D人体姿态估计之间的差距。通过联合回归2D关节点位置和FBI，采用双分支卷积神经网络并接一个3D姿态回归器，该方法减少了3D提升过程中的歧义性，在使用12,000张野外图像标注FBI的基准测试中实现了最先进性能。

ABSTRACT

Although significant advances have been made in the area of human poses estimation from images using deep Convolutional Neural Network (ConvNet), it remains a big challenge to perform 3D pose inference in-the-wild. This is due to the difficulty to obtain 3D pose groundtruth for outdoor environments. In this paper, we propose a novel framework to tackle this problem by exploiting the information of each bone indicating if it is forward or backward with respect to the view of the camera(we term it Forwardor-Backward Information abbreviated as FBI). Our method firstly trains a ConvNet with two branches which maps an image of a human to both the 2D joint locations and the FBI of bones. These information is further fed into a deep regression network to predict the 3D positions of joints. To support the training, we also develop an annotation user interface and labeled such FBI for around 12K in-the-wild images which are randomly selected from MPII (a public dataset of 2D pose annotation). Our experimental results on the standard benchmarks demonstrate that our approach outperforms state-of-the-art methods both qualitatively and quantitatively.

研究动机与目标

• 为解决由于缺乏3D真实值数据而导致的野外环境中3D人体姿态估计的挑战。
• 通过引入具备3D感知能力的弱监督信号，减少将2D关节点提升至3D姿态时的歧义性。
• 开发一种高效的标注界面，用于在野外图像中对骨骼的前向/后向信息（FBI）进行标注。
• 证明FBI监督可使3D姿态估计性能超越传统两阶段2D到3D的流水线方法。

提出的方法

• 该方法使用双分支卷积神经网络，从单张RGB图像中同时预测2D关节点位置和每根骨骼的FBI。
• FBI被定义为骨骼相对于相机的朝向方向，指示关节点是朝前还是朝后。
• 将预测的2D关节点和FBI拼接后输入深层回归网络，以预测3D关节点坐标。
• 训练过程中采用加权损失策略，优先关注FBI分类中的困难样本。
• 在新收集的12,000张野外图像数据集上进行微调，该数据集通过自定义标注界面人工标注了FBI。
• 使用35°的阈值角度将3D姿态转换为FBI标签，该参数通过消融实验优化得出。

实验结果

研究问题

• RQ1 身体骨骼的前向/后向信息（FBI）是否能有效减少从2D图像进行3D人体姿态估计的歧义性？
• RQ2 与标准2D到3D提升方法相比，将FBI作为弱监督信号是否能提升3D姿态估计性能？
• RQ3 将3D姿态转换为FBI标签的最优阈值角度是多少？该角度如何影响性能表现？
• RQ4 大规模、弱监督标注的FBI数据集是否能提升在野外图像上的泛化能力？
• RQ5 联合学习2D姿态与FBI是否比分别训练2D与3D组件能获得更高的3D姿态精度？

主要发现

• 所提出的FBI-Pose方法在野外图像上的FBI预测正确率达到78%，比最先进方法[33]高出3个百分点。
• 消融实验表明，对FBI分类采用加权监督能提升性能，尤其在“坐下”等复杂姿态中效果显著。
• 在野外FBI数据集上微调后，FBI正确率从58%提升至78%，证明了显著的泛化增益。
• 通过H3.6M协议#1的消融实验，确定FBI转换的最优阈值角度为35°。
• 该方法在标准基准上实现了最先进水平的定量与定性结果，验证了其在弥合2D-3D姿态差距方面的有效性。