[论文解读] GridFace: Face Rectification via Learning Local Homography Transformations
GridFace 提出了一种新颖的人脸校正方法，通过使用可学习的局部单应性变换来减少面部几何差异，在非约束环境下提升了识别性能。通过整合基于去噪自编码器（DAE）的规范人脸先验，并与识别网络进行端到端训练，GridFace 在 LFW、YTF、IJB-A 和 Multi-PIE 基准上实现了最先进性能，其中在 IJB-A 上验证准确率最高提升 12.6%，在 Multi-PIE 上 90° 侧倾角度下达到 75.4% 的 rank-1 准确率。
In this paper, we propose a method, called GridFace, to reduce facial geometric variations and improve the recognition performance. Our method rectifies the face by local homography transformations, which are estimated by a face rectification network. To encourage the image generation with canonical views, we apply a regularization based on the natural face distribution. We learn the rectification network and recognition network in an end-to-end manner. Extensive experiments show our method greatly reduces geometric variations, and gains significant improvements in unconstrained face recognition scenarios.
研究动机与目标
- 为解决非约束环境下人脸几何变化带来的识别性能下降问题。
- 开发一种非刚性人脸校正方法，相比整体变换方法，能更好地保留面部细节并减少失真。
- 利用通过去噪自编码器学习的自然正面人脸分布先验，对校正过程进行正则化，以鼓励生成规范的正面人脸视图。
- 通过端到端方式联合优化校正与识别网络，以提升整体性能。
- 在极端姿态变化下，于多个基准上实现显著的识别准确率提升。
提出的方法
- GridFace 使用校正网络估计一组局部单应性变换，将每个变换建模为可变形的平面单元，以捕捉非刚性面部形变。
- 该方法利用去噪自编码器（DAE）隐式建模规范正面人脸的自然分布，通过估计对数概率密度的梯度实现正则化。
- 通过基于 DAE 的先验对校正模块进行正则化，以在训练过程中鼓励生成规范的、类似正面的人脸视图。
- 识别网络与校正网络通过度量学习进行端到端联合训练，从校正后的图像中学习判别性人脸表征。
- 系统通过随机梯度下降进行训练，联合优化校正与识别目标。
- 该方法采用基于网格的局部单应性设置，实现对人脸区域的细粒度扭曲，同时最小化失真。
实验结果
研究问题
- RQ1局部单应性变换是否能有效减少非约束环境下的人脸几何差异？
- RQ2引入数据驱动的规范人脸先验是否能提升校正质量与识别性能？
- RQ3校正与识别网络的端到端联合训练是否优于分别优化？
- RQ4在极端姿态变化下，GridFace 与最先进 GAN 基的面部正面化方法相比表现如何？
- RQ5该方法在 LFW、YTF、IJB-A 和 Multi-PIE 等多样化基准上是否具有良好的泛化能力？
主要发现
- 在 Multi-PIE 数据集中，Grid-8 在 90° 侧倾角度下达到 75.4% 的 rank-1 准确率，相比基线提升 12.6%。
- 在 IJB-A 上，Grid-8 在 FAR=0.001 时达到 83.9% 的验证准确率，相比基线提升 12.6%。
- 在 LFW 上，Grid-8 达到 99.70% 的 mAC 和 96.7% 的 rank-1 准确率，优于先前最先进方法。
- 在 YTF 上，Grid-8 达到 95.6% 的 mAC，显示出对强基线的持续改进。
- Grid-8-Pub 在 LFW 上达到 99.68% 的 mAC，在 YTF 上达到 95.2% 的 mAC，表明在公开与私有数据设置下均具有鲁棒性。
- 该方法在正面人脸图像上无性能下降，表明引入的伪影极少。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。