[论文解读] Multi-channel Deep 3D Face Recognition

Zhiqian You, Tingting Yang+1 more|arXiv (Cornell University)|Sep 30, 2020

Face recognition and analysis参考文献 24被引用 5

一句话总结

本文提出了一种多通道深度3D人脸识别网络，利用保角映射在将3D面部数据投影到2D平面时保持几何保真度。通过从3D三角形网格计算九个几何和颜色通道，并将其输入改进的卷积神经网络（CNN），该方法实现了98.6%的识别准确率，显著优于基于正交投影的基线方法。

ABSTRACT

Face recognition has been of great importance in many applications as a biometric for its throughput, convenience, and non-invasiveness. Recent advancements in deep Convolutional Neural Network (CNN) architectures have boosted significantly the performance of face recognition based on two-dimensional (2D) facial texture images and outperformed the previous state of the art using conventional methods. However, the accuracy of 2D face recognition is still challenged by the change of pose, illumination, make-up, and expression. On the other hand, the geometric information contained in three-dimensional (3D) face data has the potential to overcome the fundamental limitations of 2D face data. We propose a multi-Channel deep 3D face network for face recognition based on 3D face data. We compute the geometric information of a 3D face based on its piecewise-linear triangular mesh structure and then conformally flatten geometric information along with the color from 3D to 2D plane to leverage the state-of-the-art deep CNN architectures. We modify the input layer of the network to take images with nine channels instead of three only such that more geometric information can be explicitly fed to it. We pre-train the network using images from the VGG-Face \cite{Parkhi2015} and then fine-tune it with the generated multi-channel face images. The face recognition accuracy of the multi-Channel deep 3D face network has achieved 98.6. The experimental results also clearly show that the network performs much better when a 9-channel image is flattened to plane based on the conformal map compared with the orthographic projection.

研究动机与目标

• 通过利用3D几何数据，解决2D人脸识别在姿态、光照和表情变化下的局限性。
• 克服传统3D到2D投影（如正交投影）导致的几何保真度下降问题。
• 通过引入超越颜色和深度的更丰富的几何特征，提升深度卷积神经网络（CNN）的性能。
• 开发一种有效方法，将多通道3D几何信息整合到现有的2D CNN架构中。
• 证明保角映射在保持局部形状和角度方面优于标准投影方式，从而提升识别准确率。

提出的方法

• 将3D人脸点云转换为分段线性的三角形网格，以进行几何分析。
• 使用离散曲面里奇流从网格中计算九个几何特征（如曲率、法向量、保角因子）。
• 应用保角映射——保持角度和局部形状——将3D几何和颜色数据展平到2D平面。
• 构建一个结合颜色和计算出的几何特征的九通道图像，作为深度CNN的输入。
• 修改预训练的VGG-Face网络的输入层，以接受九通道输入而非三通道输入。
• 在VGG-Face数据上预训练后，使用生成的多通道3D人脸图像对网络进行微调。

实验结果

研究问题

• RQ1 当将3D面部数据展平到2D时，保角映射是否能比正交投影更准确地保持3D面部几何特征？
• RQ2 与单通道或三通道输入相比，将九通道的几何和颜色数据整合到深度CNN中是否能提升人脸识别准确率？
• RQ3 在不同条件下，多通道3D人脸识别网络的性能与最先进2D和3D CNN方法相比如何？
• RQ4 保角映射带来的几何保真度在多大程度上减少了因姿态和表情变化导致的识别错误？
• RQ5 有限的标注3D人脸数据对多通道3D人脸识别网络性能有何影响？

主要发现

• 该多通道深度3D人脸识别网络在Bosphorus和TexasFRD数据集上实现了98.6%的Rank-1识别准确率。
• 该网络优于基于正交投影的9通道方法（准确率为95.6%），证明了保角映射的优越性。
• 保角映射保持了局部几何结构和角度，相比正交投影减少了失真。
• 该方法显著提升了传统3D人脸识别技术以及2D人脸识别模型（如FaceNet）的识别性能。
• 即使在训练数据有限的情况下，使用保角映射的网络性能也明显优于正交投影，显示出其优势。
• 尽管训练数据有限，该网络在多通道3D人脸识别方法中仍达到了最先进性能，凸显了几何特征编码的有效性。