[论文解读] MetaFuse: A Pre-trained Fusion Model for Human Pose Estimation

Rongchang Xie, Chunyu Wang+1 more|arXiv (Cornell University)|Mar 30, 2020

Human Pose and Action Recognition参考文献 38被引用 4

一句话总结

MetaFuse 提出了一种用于人体姿态估计的预训练跨视角特征融合模型，仅需少量标注图像即可快速适应新的摄像头配置。通过将融合网络分解为通用的元学习模型和轻量级的摄像头特定变换，MetaFuse 在 H36M、Total Capture 和 CMU Panoptic 数据集上实现了最先进性能，且微调数据量极少。

ABSTRACT

Cross view feature fusion is the key to address the occlusion problem in human pose estimation. The current fusion methods need to train a separate model for every pair of cameras making them difficult to scale. In this work, we introduce MetaFuse, a pre-trained fusion model learned from a large number of cameras in the Panoptic dataset. The model can be efficiently adapted or finetuned for a new pair of cameras using a small number of labeled images. The strong adaptation power of MetaFuse is due in large part to the proposed factorization of the original fusion model into two parts (1) a generic fusion model shared by all cameras, and (2) lightweight camera-dependent transformations. Furthermore, the generic model is learned from many cameras by a meta-learning style algorithm to maximize its adaptation capability to various camera poses. We observe in experiments that MetaFuse finetuned on the public datasets outperforms the state-of-the-arts by a large margin which validates its value in practice.

研究动机与目标

• 解决现有多视角姿态估计方法在可扩展性和灵活性方面的不足，这些方法在每个新摄像头组合下都需要重新训练。
• 通过仅使用少量标注图像，实现特征融合模型对新摄像头配置的高效适应。
• 通过利用多摄像头之间的跨视角特征融合，提升对遮挡的鲁棒性。
• 通过在多样化摄像头配置上进行元学习，开发具备强泛化能力的通用融合模型。
• 降低在新环境中部署多视角姿态估计所需的数据和训练成本。

提出的方法

• 将 NaiveFuse 模型分解为所有摄像头共享的通用融合组件和轻量级的摄像头特定仿射变换。
• 通过元学习算法训练通用融合模型，以最大化其在多样化摄像头姿态下的适应性能。
• 仅在目标域的少量标注图像上微调摄像头依赖的仿射变换。
• 利用预训练的通用模型作为强归纳偏置，以提升少样本适应性能。
• 将 MetaFuse 与任意 2D 姿态估计网络集成，实现端到端的多视角 3D 姿态估计。
• 利用 CMU Panoptic 数据集对数千个摄像头组合进行预训练，以增强泛化能力。

实验结果

研究问题

• RQ1 能否在仅使用极少标注数据的情况下，有效将预训练融合模型适应到新的摄像头组合？
• RQ2 元学习在多样化摄像头配置下如何提升跨视角特征融合模型的泛化能力？
• RQ3 分解的融合架构是否能在保持或提升性能的同时降低模型复杂度？
• RQ4 在基准数据集上，MetaFuse 是否在准确率和数据效率方面优于现有融合方法？
• RQ5 MetaFuse 是否能以远少于先前方法的训练图像数量，实现最先进水平的 3D 姿态估计性能？

主要发现

• 在 H36M 数据集上，仅用 50 张图像微调的 MetaFuse 比 No-Fusion 基线在关节点检测率上高出 2.6%（86.3% vs. 83.7%）。
• 在 H36M 数据集上，使用 500 张微调图像的 MetaFuse 实现了 32.7 mm 的 3D MPJPE，优于使用完整数据集的最先进方法。
• 在 Total Capture 数据集上，MetaFuse 达到了最低的 3D 误差 32.4 mm，优于使用时序建模的近期方法。
• 在 Panoptic 数据集上，MetaFuse 将 3D 误差从 No-Fusion 的 40.47 mm 降低至 31.78 mm，仅使用 200 张微调图像。
• 在 Total Capture 数据集上，使用 500 张微调图像的 MetaFuse 实现了 32.4 mm 的 3D 误差，优于未使用时序信息的 LSTM-AE（34.1 mm）。
• Savitzky-Golay 滤波器将 MetaFuse 在 "Walking2" 动作上的 3D 误差降低了约 5 mm，表明后处理增强具有强大潜力。