[论文解读] Monocular Real-time Full Body Capture with Inter-part Correlations

Yuxiao Zhou, Marc Habermann+4 more|arXiv (Cornell University)|Dec 11, 2020

Face recognition and analysis参考文献 76被引用 6

一句话总结

该论文提出首个实时单目全身体三维捕获方法，通过单张RGB图像联合估计身体、手部和面部几何形态、身份特征与表情。通过创新的特征组合网络和注意力机制，结合多数据集训练，利用各部分之间的相关性，在无需所有身体部位同步标注的情况下，实现了高精度与高效率。

ABSTRACT

We present the first method for real-time full body capture that estimates shape and motion of body and hands together with a dynamic 3D face model from a single color image. Our approach uses a new neural network architecture that exploits correlations between body and hands at high computational efficiency. Unlike previous works, our approach is jointly trained on multiple datasets focusing on hand, body or face separately, without requiring data where all the parts are annotated at the same time, which is much more difficult to create at sufficient variety. The possibility of such multi-dataset training enables superior generalization ability. In contrast to earlier monocular full body methods, our approach captures more expressive 3D face geometry and color by estimating the shape, expression, albedo and illumination parameters of a statistical face model. Our method achieves competitive accuracy on public benchmarks, while being significantly faster and providing more complete face reconstructions.

研究动机与目标

• 解决从单目RGB图像中实时捕获全身体三维形态（包括手部与面部表情）的挑战。
• 克服同时标注身体、手部与面部的大规模数据集收集困难。
• 通过在仅包含特定身体部位的数据集上进行训练，实现跨多样化基准的优越泛化能力，无需所有身体部位的联合标注。
• 通过利用身体特征作为低频全局上下文，提升手部关键点检测的精度与效率。
• 利用带身份与表情变化的3D形态人脸模型，重建详细的面部几何、反照率与光照。

提出的方法

• 提出一种模块化、端到端的深度学习流水线，包含四个任务专用子网络：DetNet（关键点检测）、BodyIKNet与HandIKNet（逆运动学）、FaceNet（3D人脸建模）。
• 设计一种特征组合机制，其中手部姿态估计分支同时使用身体特征（低频全局上下文）与局部手部特征（高频细节），降低计算量并提升精度。
• 采用两阶段身体关键点检测结构，以应对不同数据集中关键点差异的问题。
• 引入注意力机制，在小批量训练过程中动态选择并加权来自多种模态（2D/3D关键点、动作捕捉、图像）的特征。
• 使用多个数据集进行网络训练：针对特定身体部位（身体、手部、面部）、联合数据集（身体+手部）、仅动作捕捉数据集，以及2D标注的野外图像数据集。
• 使用SMPLH表示身体与手部网格，并用3D形态人脸模型（3DMM）替换面部区域，以捕捉形状、表情、反照率与光照。

Figure 1 : We present the first real-time monocular approach that jointly captures shape and pose of body and hands together with facial geometry and color. Top: results on in-the-wild sequences. Bottom: real-time demo. Our approach predicts facial color while the body color is set manually.

实验结果

研究问题

• RQ1 单个神经网络架构能否在单目RGB图像下实时联合估计3D身体、手部与面部几何形态？
• RQ2 如何利用身体与手部之间的部件间相关性，以提升手部关键点检测的精度与效率？
• RQ3 通过在仅包含特定身体部位的数据集上训练，能否实现优于基线的泛化能力，而无需所有身体部位的联合标注？
• RQ4 多模态数据训练（2D/3D关键点、动作捕捉、图像）在多样化基准上对性能的提升程度如何？
• RQ5 能否通过基于3DMM的方法实现实时重建详细、可渲染的面部几何与色彩？

主要发现

• 该方法实现推理实时性（已在实时演示中验证），在公开基准上表现具有竞争力，MTC-Hand数据集上MPJPE降低28%，且未使用身体特征的基线方法对比下表现更优。
• FaceNet在MTC-Face数据集上将关键点误差降至3.37 px，光度误差降至0.0444（每通道），较[61]在关键点误差上降低27%，光度误差降低32%。
• 注意力机制提升了跨数据集泛化能力，DetNet在HM36M上较DetNet-U（均匀）降低5.4 mm，在MPII3D上降低9.8 mm（MPJPE）。
• 仅在MTC上训练的DetNet-O无法泛化至MTC-Hand之外，而仅在室内数据上训练的DetNet-I在野外数据上表现欠佳，证明了多样化数据的价值。
• 消融实验表明，身体特征（F*）使MTC-Hand上的手部MPJPE降低28%，且补充特征（高分辨率手部特征）对性能至关重要。
• 该方法可捕捉个性化面部身份与表情，包含反照率与光照信息，支持逼真渲染，优于以往单目方法。

Figure 2 : System overview and DetNet structure. Left: An input image $I_{h}$ is first downscaled by 4x for body keypoint detection and face/hand localization. The hand area is then cropped from $I_{h}$ to retrieve supp-features , which are concatenated with processed body-features for hand keypoint