[论文解读] Cascaded Regressor based 3D Face Reconstruction from a Single Arbitrary View Image.

Feng Liu, Dan Zeng+2 more|arXiv (Cornell University)|Sep 21, 2015

Face recognition and analysis参考文献 21被引用 18

一句话总结

本文提出一种级联回归器方法，用于从单张任意视角图像实现3D人脸重建，通过从2D关键点到初始3D人脸模型的形状调整回归，绕过昂贵的优化过程。通过将不可见关键点视为缺失数据，该方法在不同视角下均实现了高精度且高效的重建，在BFM和Bosphorus数据集上优于现有方法。

ABSTRACT

State-of-the-art methods reconstruct three-dimensional (3D) face shapes from a single image by fitting 3D face models to input images or by directly learning mapping functions between two-dimensional (2D) images and 3D faces. However, they are often difficult to use in real-world applications due to expensive online optimization or to the requirement of frontal face images. This paper approaches the 3D face reconstruction problem as a regression problem rather than a model fitting problem. Given an input face image along with some pre-defined facial landmarks on it, a series of shape adjustments to the initial 3D face shape are computed through cascaded regressors based on the deviations between the input landmarks and the landmarks obtained from the reconstructed 3D faces. The cascaded regressors are offline learned from a set of 3D faces and their corresponding 2D face images in various views. By treating the landmarks that are invisible in large view angles as missing data, the proposed method can handle arbitrary view face images in a unified way with the same regressors. Experiments on the BFM and Bosphorus databases demonstrate that the proposed method can reconstruct 3D faces from arbitrary view images more efficiently and more accurately than existing methods.

研究动机与目标

• 解决现有3D人脸重建方法依赖正面人脸图像或涉及昂贵在线优化的局限性。
• 通过统一的回归框架，实现在任意视角下的鲁棒3D人脸重建。
• 通过将不可见面部关键点建模为缺失数据，克服在大视角下处理这些关键点的挑战。
• 开发一种在真实世界非受限环境中可部署的高效且精确的方法。

提出的方法

• 将3D人脸重建问题表述为回归问题而非模型拟合任务，利用级联回归器迭代优化3D形状。
• 以规范模型初始化3D人脸形状，并根据2D输入关键点与投影3D关键点之间的偏差应用形状调整。
• 在包含多种视角下3D人脸及其对应2D图像的数据集上离线训练级联回归器。
• 在回归过程中将非正面视角中的遮挡或不可见关键点视为缺失数据，以保持重建过程的一致性。
• 在所有视角下使用统一的回归器集合，实现无需视角特异性适配的统一推理。
• 利用2D关键点与3D人脸模型之间的几何一致性，指导3D形状的迭代优化。

实验结果

研究问题

• RQ1 级联回归框架是否能在不依赖正面图像的前提下，实现从单张任意视角图像的高精度3D人脸重建？
• RQ2 将不可见关键点建模为缺失数据，对在大视角下的重建鲁棒性与精度有何影响？
• RQ3 离线训练的回归器在无需在线优化的情况下，能在多大程度上泛化到多样化视角？
• RQ4 与现有模型拟合方法和直接映射方法相比，所提方法在精度与效率方面表现如何？

主要发现

• 所提方法在BFM和Bosphorus数据库上均实现了比当前最先进方法更高的重建精度。
• 该方法实现了高效的3D人脸重建，无需昂贵的在线优化，适用于实时应用。
• 通过将不可见关键点视为缺失数据，该方法在使用单一统一回归器集合的情况下，实现了在任意视角下的稳定性能。
• 级联回归器框架通过基于2D关键点偏差的迭代优化，有效降低了形状误差。
• 该方法对大视角具有鲁棒性，而传统方法常因关键点遮挡而失效。
• 回归器的离线训练确保了快速推理，显著降低了运行时间，相比基于优化的方法具有明显优势。