[论文解读] Learning to Fuse 2D and 3D Image Cues for Monocular Body Pose Estimation

Bugra Tekin, Pablo Márquez-Neila+2 more|arXiv (Cornell University)|Nov 17, 2016

Human Pose and Action Recognition参考文献 62被引用 17

一句话总结

本文提出了一种新颖的深度学习框架，通过可学习的融合机制，联合回归来自2D关节点置信图和原始图像特征的3D人体姿态。通过采用可学习的、锐利的融合策略，将2D检测可靠性与3D图像线索进行融合，该方法在标准基准上实现了最先进性能，与先前工作相比，3D姿态误差降低了12%，并实现了10 fps的实时推理。

ABSTRACT

Most recent approaches to monocular 3D human pose estimation rely on Deep Learning. They typically involve regressing from an image to either 3D joint coordinates directly or 2D joint locations from which 3D coordinates are inferred. Both approaches have their strengths and weaknesses and we therefore propose a novel architecture designed to deliver the best of both worlds by performing both simultaneously and fusing the information along the way. At the heart of our framework is a trainable fusion scheme that learns how to fuse the information optimally instead of being hand-designed. This yields significant improvements upon the state-of-the-art on standard 3D human pose estimation benchmarks.

研究动机与目标

• 通过结合2D关节点检测与直接的3D图像推理优势，解决单目3D人体姿态估计中的模糊性问题。
• 克服现有方法的局限性，这些方法要么忽略3D图像线索，要么未能有效建模2D关节点不确定性。
• 开发一种可学习的融合机制，自动学习2D与3D流之间最优的融合点与策略，避免手工设计的融合规则。
• 通过利用双流之间的互补特征，提升在非约束、真实世界户外图像上的泛化能力与鲁棒性。
• 在保持低推理延迟的同时实现高精度，支持实时部署。

提出的方法

• 该框架采用两条并行分支：一条用于预测2D关节点位置置信图（置信图分支），另一条用于直接从输入图像中提取3D图像线索（图像分支）。
• 两条分支通过一个可学习的融合模块进行融合，该模块使用可学习的Sigmoid门控机制，在多个层级动态控制特征融合，实现自适应的、层级特定的融合。
• 融合机制通过引入稀疏性诱导项进行正则化，以鼓励锐利融合，减少冗余参数并提升推理效率。
• 网络采用端到端的多任务损失进行训练，同时优化2D热图预测与3D关节点回归任务。
• 训练完成后，根据学习到的门控值剪枝掉不活跃的融合层，得到一个紧凑且高效的推理网络。
• 该模型在Human3.6m、LSP和KTH等标准基准上进行评估，即使在合成数据上进行训练，也能在真实图像上表现出良好的泛化能力。

实验结果

研究问题

• RQ1 可学习的融合机制是否能在结合2D关节点置信图与3D图像特征用于单目3D姿态估计时，优于手工设计的融合策略？
• RQ2 同时从2D与3D线索进行回归是否能提升准确率与鲁棒性，相比仅使用单一模态的方法？
• RQ3 是否可以通过可学习的、稀疏性诱导的门控机制，实现自适应且高效的融合过程，从而在特定层级实现锐利融合？
• RQ4 当在合成数据上进行训练时，该方法是否能在真实世界、非约束的户外图像上实现良好泛化？
• RQ5 该融合策略是否可推广至3D人体姿态估计以外的其他多模态学习问题？

主要发现

• 在Human3.6m数据集的Eating动作类别上，所提方法实现了60.17 mm的3D姿态误差，相比无正则化的基线模型降低了12.6%。
• 引入正则化项后，推理时间缩短至0.006秒/帧（167 fps），且通过剪枝不活跃的融合层，模型效率进一步提升。
• 尽管在合成数据上进行训练，该方法在真实图像上仍表现出良好泛化能力，如在LSP数据集上实现了高质量的3D姿态预测。
• 定性结果表明，该方法在自遮挡与视角模糊等复杂情况（如Human3.6m和KTH Multiview Football II数据集）下仍具有鲁棒性能。
• 两条分支的特征呈去相关性，证实其编码了互补信息，从而支持融合策略的合理性。
• 该模型在标准GPU上以10 fps的速度运行（0.096秒/帧），优于先前基于模型的方法（其推理速度范围为0.04至1 fps）。