[论文解读] Evaluation of Dense 3D Reconstruction from 2D Face Images in the Wild

Zhenhua Feng, Patrik Huber+6 more|View|Mar 14, 2018

Face recognition and analysis参考文献 23被引用 10

一句话总结

本文引入了一个新的基准数据集，包含2,000张真实场景下的2D人脸图像以及来自135名受试者的高分辨率3D真实扫描数据，以实现对密集3D人脸重建的客观评估。该研究评估了五种最先进方法，结果表明基于纹理的深度学习方法显著优于仅依赖关键点的方法，尽管其计算负载更高。

ABSTRACT

This paper investigates the evaluation of dense 3D face reconstruction from a single 2D image in the wild. To this end, we organise a competition that provides a new benchmark dataset that contains 2000 2D facial images of 135 subjects as well as their 3D ground truth face scans. In contrast to previous competitions or challenges, the aim of this new benchmark dataset is to evaluate the accuracy of a 3D dense face reconstruction algorithm using real, accurate and high-resolution 3D ground truth face scans. In addition to the dataset, we provide a standard protocol as well as a Python script for the evaluation. Last, we report the results obtained by three state-of-the-art 3D face reconstruction systems on the new benchmark dataset. The competition is organised along with the 2018 13th IEEE Conference on Automatic Face & Gesture Recognition.

研究动机与目标

• 建立一个可靠、客观的基准，用于评估从单张真实场景2D图像进行密集3D人脸重建的方法。
• 解决现有数据集中缺乏真实、高分辨率3D真实扫描的问题，从而限制了定量评估。
• 通过标准化协议和公开可用的数据，实现对最先进3D重建算法的公平比较。
• 在具有挑战性的现实条件下，研究纹理与关键点驱动拟合对重建精度的影响。
• 通过发布数据集、评估协议和代码，支持未来研究的可复现性与社区范围内的采用。

提出的方法

• 使用2,000张真实场景下的2D人脸图像以及对应135名受试者的高分辨率3D扫描数据，构建了新的基准数据集。
• 利用结构光3D扫描仪获取3D真实扫描，以确保精度和分辨率。
• 制定了标准化的评估协议，并提供了Python脚本以实现性能测量的一致性。
• 评估了五种最先进3D人脸重建系统：萨里大学的两种方法（MTCNN+CNN6+eos、MTCNN+CNN6+3DDFA）、电子科技大学的SCU-BRL，以及两种基于深度学习的方法（3DDFA和3DMM-CNN）。
• 使用3D-RMSE作为主要指标，对单图像重建进行评估，并对高质量与低质量图像子集进行了额外分析。
• 对部分系统（包括SCU-BRL）进行了多图像重建实验，以评估利用多张图像带来的性能提升。

实验结果

研究问题

• RQ1 当在真实场景下的高分辨率3D真实扫描数据上进行评估时，最先进3D人脸重建算法的表现如何？
• RQ2 与仅依赖关键点的拟合相比，纹理信息在多大程度上提升了3D重建的精度？
• RQ3 图像质量（如极端姿态、光照条件）如何影响不同重建方法的性能？
• RQ4 与单图像方法相比，多图像拟合能否显著提升重建精度？
• RQ5 当前3D人脸重建流程中，重建精度与计算效率之间的权衡如何？

主要发现

• 3DMM-CNN和MTCNN+CNN6+3DDFA系统在完整基准数据集上的3D-RMSE分别达到最低值2.26±0.72和2.31±0.75，显著优于仅依赖关键点的方法。
• 仅依赖关键点的方法（MTCNN+CNN6+eos、MTCNN+CNN6+ESO、SCU-BRL）误差更高（3.05±0.89至3.12±0.91），表明在复杂条件下精度有限。
• 当采用多图像拟合时，性能最佳的系统（3DMM-CNN）的3D-RMSE降至2.26±0.72，表明互补数据带来了显著改进。
• 基于纹理的深度学习方法（3DDFA、3DMM-CNN）优于仅依赖关键点的方法，证明纹理提供了关键的形状信息。
• 3DDFA系统在标准CPU上运行速度约为1.5 fps，而eos系统超过100 fps，凸显了速度与精度之间的显著权衡。
• 深度学习方法在高质量与低质量图像子集之间的性能差距较小，表明其对图像退化具有更强的鲁棒性。