[论文解读] 3D Dense Face Alignment via Graph Convolution Networks

Huawei Wei, Shuang Liang+1 more|arXiv (Cornell University)|Apr 11, 2019

Face recognition and analysis参考文献 31被引用 25

一句话总结

该论文提出了一种基于图卷积网络（GCN）的3D密集人脸对齐方法，直接从2D图像回归3D人脸坐标，作用于人脸网格上，避免了基于网格表示带来的失真，从而保持了几何结构。该方法在多个基准测试中达到最先进性能，在AFLW2000-3D上的平均归一化误差为2.44。

ABSTRACT

Recently, 3D face reconstruction and face alignment tasks are gradually combined into one task: 3D dense face alignment. Its goal is to reconstruct the 3D geometric structure of face with pose information. In this paper, we propose a graph convolution network to regress 3D face coordinates. Our method directly performs feature learning on the 3D face mesh, where the geometric structure and details are well preserved. Extensive experiments show that our approach gains superior performance over state-of-the-art methods on several challenging datasets.

研究动机与目标

• 为解决基于网格的3D人脸表示在3D密集人脸对齐中存在量化误差和失真误差等局限性。
• 开发一种直接在3D人脸网格上运行的深度学习框架，利用图卷积网络（GCNs）以保持几何保真度。
• 通过在网格上进行分层的、从粗到细的特征学习，实现更优的3D人脸对齐与重建性能。
• 验证平滑损失在不降低对齐精度的前提下，提升生成3D人脸视觉质量的有效性。

提出的方法

• 使用图卷积网络（GCN）在3D人脸网格上直接进行端到端的3D人脸坐标回归，避免中间的网格表示。
• 采用类似U-Net的编码器-解码器架构，结合残差连接和实例归一化，针对图结构数据进行适配。
• 通过网格采样技术引入从粗到细的策略，以捕捉人脸网格上的多尺度特征。
• 利用切比雪夫多项式实现的谱图卷积（ChebyNet）在网格图上实现高效且局部的消息传递。
• 通过结合3D坐标上的L1损失和平滑损失的多任务损失进行优化，以提升表面质量。
• 在3D重建任务的评估中应用迭代最近点（ICP）对齐方法，将生成结果与真实点云进行比较。

实验结果

研究问题

• RQ1 图卷积网络是否能够有效从2D图像中学习3D人脸几何结构，而无需依赖参数化模型或基于网格的表示？
• RQ2 与使用UV映射或体素化的方法相比，直接在3D人脸网格上进行回归在对齐精度和几何保真度方面表现如何？
• RQ3 在3D人脸生成中，对齐精度与表面平滑度之间的最优权衡是什么？该权衡在训练过程中如何调控？
• RQ4 所提出的基于GCN的方法在多样化的数据集和姿态变化下的3D密集人脸对齐任务中，泛化能力如何？

主要发现

• 所提方法在AFLW2000-3D基准测试中实现了2.44的平均归一化误差（NME），优于所有当前最先进方法，包括PRN（2.75）和3DDFA+SDM（3.43）。
• 在45K个点的对齐任务中，该方法实现了3.35的NME，表明其对高密度监督具有鲁棒性。
• 定性结果表明，预测的关键点在某些情况下比真实值更准确，显示出高精度，尤其在挑战性姿态下表现突出。
• 消融实验确认，平滑损失权重α = 0.1时，在对齐精度与表面平滑度之间达到最佳平衡。
• 在Florence数据集上，尽管存在训练数据（300W-LP）与测试数据（Florence）之间的领域差异，该方法的重建性能仍略优于PRN。
• 视觉结果表明，该方法能成功保留面部细节，如表情和精细几何结构，即使在眼睛和鼻子等困难区域也表现良好。