[论文解读] Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop

Nikos Kolotouros, Pavlakos Georgios+2 more|arXiv (Cornell University)|Sep 27, 2019

Human Pose and Action Recognition被引用 16

一句话总结

本文提出 SPIN，一种自增强框架，通过将深度回归与迭代优化相结合，实现3D人体姿态与形状估计。通过使用回归网络的输出初始化SMPL拟合，并将优化后的结果作为训练期间的特权监督信号，SPIN在仅有限3D真实值的情况下仍能达到最先进性能，无论在配对还是非配对训练设置中，均显著优于先前方法。

ABSTRACT

Model-based human pose estimation is currently approached through two different paradigms. Optimization-based methods fit a parametric body model to 2D observations in an iterative manner, leading to accurate image-model alignments, but are often slow and sensitive to the initialization. In contrast, regression-based methods, that use a deep network to directly estimate the model parameters from pixels, tend to provide reasonable, but not pixel accurate, results while requiring huge amounts of supervision. In this work, instead of investigating which approach is better, our key insight is that the two paradigms can form a strong collaboration. A reasonable, directly regressed estimate from the network can initialize the iterative optimization making the fitting faster and more accurate. Similarly, a pixel accurate fit from iterative optimization can act as strong supervision for the network. This is the core of our proposed approach SPIN (SMPL oPtimization IN the loop). The deep network initializes an iterative optimization routine that fits the body model to 2D joints within the training loop, and the fitted estimate is subsequently used to supervise the network. Our approach is self-improving by nature, since better network estimates can lead the optimization to better solutions, while more accurate optimization fits provide better supervision for the network. We demonstrate the effectiveness of our approach in different settings, where 3D ground truth is scarce, or not available, and we consistently outperform the state-of-the-art model-based pose estimation approaches by significant margins. The project website with videos, results, and code can be found at https://seas.upenn.edu/~nkolot/projects/spin.

研究动机与目标

• 通过结合纯回归方法与优化方法的优势，解决其各自的局限性。
• 实现在训练过程中无需配对3D真实值，即可训练深度神经网络进行3D人体重建。
• 通过使用像素级精确的模型拟合作为特权监督，提升网络泛化能力与精度。
• 建立一个自增强循环：更优的网络预测可带来更优的优化结果，反之亦然。

提出的方法

• 一个深度神经网络从图像像素回归初始SMPL参数（姿态与形状）。
• 回归得到的参数用于初始化迭代优化过程（SMPLify），以将SMPL模型拟合到2D关节点检测结果。
• 将优化后的SMPL参数作为强而明确的3D监督信号，用于训练网络，从而替代较弱的2D重投影损失。
• 整个流程嵌入训练循环中，形成回归与优化之间的闭环协作。
• 通过使用优化模块仅基于2D关键点生成3D监督，实现无需3D真实值的训练。
• 该框架具备自增强特性：网络预测性能提升可带来更优的优化结果，而更优的优化结果又能提升网络监督质量。

实验结果

研究问题

• RQ1 深度回归与迭代优化的紧密集成是否能将3D人体重建性能提升至超越当前最先进水平？
• RQ2 在3D真实值稀缺或不可用的情况下，迭代优化能否提供显著改善网络训练的特权监督？
• RQ3 回归与优化之间的自增强循环是否能在不同数据集和训练设置下持续带来性能提升？
• RQ4 能否在仅依赖2D关键点监督与优化过程的前提下，有效训练网络实现3D人体姿态与形状估计，而无需配对3D标注？

主要发现

• 在Human3.6M数据集上，SPIN实现41.1毫米的平均重建误差，显著优于此前最先进方法HMR（56.8毫米）与NBF（59.9毫米）。
• 在非配对设置（无3D真实值可用）下，SPIN实现62.0毫米的重建误差，优于HMR（66.5毫米）与NBF（59.9毫米），尽管训练中未使用Human3.6M的3D数据。
• 在MPI-INF-3DHP数据集上，SPIN在刚性对齐后实现67.5毫米的MPJPE，优于HMR（89.8毫米）与VNect（98.0毫米），且在非配对设置下超越Mehta等人（117.6毫米）。
• 在MPI-INF-3DHP数据集上，SPIN在刚性对齐后实现92.5%的PCK与55.6%的AUC，优于HMR（86.3%与47.8%）与VNect（83.9%与47.3%）。
• 该方法对遮挡、复杂姿态及多人场景等挑战性情况表现出鲁棒性，但在罕见视角或模糊深度场景下仍存在失败案例。
• 自增强循环实现了持续的性能提升：更优的网络预测可提升优化收敛性，而更优的优化结果又能增强网络监督质量。