[论文解读] A Simple, Fast and Highly-Accurate Algorithm to Recover 3D Shape from 2D Landmarks on a Single Image

Ruiqi Zhao, Yan Wang+1 more|arXiv (Cornell University)|Sep 28, 2016

Face recognition and analysis参考文献 17被引用 4

一句话总结

该论文提出了一种前馈深度神经网络，能够从单张图像的2D关键点准确恢复3D形状，重建误差在人脸、汽车、人体和旗帜上分别低于0.004、0.0022、0.022和0.0004，性能优于最先进方法两倍之多。该模型训练速度快，推理速度超过1,000帧每秒，且通过创新的数据增强策略对噪声和缺失数据具有鲁棒性。

ABSTRACT

Three-dimensional shape reconstruction of 2D landmark points on a single image is a hallmark of human vision, but is a task that has been proven difficult for computer vision algorithms. We define a feed-forward deep neural network algorithm that can reconstruct 3D shapes from 2D landmark points almost perfectly (i.e., with extremely small reconstruction errors), even when these 2D landmarks are from a single image. Our experimental results show an improvement of up to two-fold over state-of-the-art computer vision algorithms; 3D shape reconstruction of human faces is given at a reconstruction error < .004, cars at .0022, human bodies at .022, and highly-deformable flags at an error of .0004. Our algorithm was also a top performer at the 2016 3D Face Alignment in the Wild Challenge competition (done in conjunction with the European Conference on Computer Vision, ECCV) that required the reconstruction of 3D face shape from a single image. The derived algorithm can be trained in a couple hours and testing runs at more than 1, 000 frames/s on an i7 desktop. We also present an innovative data augmentation approach that allows us to train the system efficiently with small number of samples. And the system is robust to noise (e.g., imprecise landmark points) and missing data (e.g., occluded or undetected landmark points).

研究动机与目标

• 开发一种通用算法，仅基于单张图像的2D关键点恢复3D形状，适用于刚性、可动及高度形变的物体。
• 解决现有方法在处理非密集或稀疏2D标志点以及非线性形变时精度不足的挑战。
• 在保持高精度和对噪声及缺失数据鲁棒性的前提下，实现超过1,000帧每秒的实时性能。
• 通过基于多种相机模型的新型数据增强策略，在小规模数据集上也能实现有效训练。

提出的方法

• 训练一个前馈深度神经网络，学习从2D关键点坐标到3D形状的映射，利用分层非线性变换恢复深度信息。
• 使用最小化预测3D坐标与真实3D坐标之间L2距离的损失函数，端到端训练网络。
• 采用创新的数据增强技术，通过模拟单个3D点云的多种相机视角、缩放和观测角度，生成合成的2D关键点。
• 对大规模数据集使用小批量训练，而同一架构通过增强数据可高效处理小规模数据集。
• 模型对全局缩放具有不变性，独立于尺度因子估计3D形状。
• 通过在带噪声或不完整的关键点集合上进行训练，实现对噪声和缺失数据的鲁棒性。

实验结果

研究问题

• RQ1 一个单一的深度神经网络能否在仅使用单张图像的2D关键点情况下，泛化应用于包括刚性、可动和高度形变形状在内的多种物体类别？
• RQ2 如何在保持实时推理速度的同时，显著提升3D形状重建精度，超越最先进方法？
• RQ3 当2D关键点存在噪声或部分缺失时，深度学习模型在多大程度上仍能保持准确性和鲁棒性？
• RQ4 能否通过合成数据增强，在有限的真实世界3D-2D数据对上实现有效训练？

主要发现

• 所提方法在人脸上的平均3D重建误差为0.004，显著优于先前最先进方法。
• 对于汽车，平均重建误差为0.0022，表明在刚性、细节丰富的物体上具有高精度。
• 在人体上，平均误差为0.022，表明在可动结构上表现强劲。
• 对于高度形变的旗帜，平均误差低至0.0004，凸显在非刚性、动态形状上的卓越性能。
• 该算法在i7台式机上运行速度超过1,000帧每秒，超出实时性能要求。
• 即使在关键点位置存在高达5%的高斯噪声，或每组样本缺失一个关键点的情况下，模型仍保持低误差。