[论文解读] BoostGAN for Occlusive Profile Face Frontalization and Recognition

Qingyan Duan, Lei Zhang|arXiv (Cornell University)|Feb 26, 2019

Face recognition and analysis参考文献 36被引用 9

一句话总结

本文提出 BoostGAN，一种端到端的生成对抗网络，可在大姿态变化和部分遮挡条件下，联合实现侧脸的去遮挡、正面化及识别。通过采用从粗到精的架构，结合深层 GAN 进行初始合成，以及浅层提升网络进行照片级真实感优化，BoostGAN 在 LFW 数据集上实现了最先进的面部识别准确率（关键点遮挡下 AUC 为 94.90%），同时保持了身份和纹理的一致性。

ABSTRACT

There are many facts affecting human face recognition, such as pose, occlusion, illumination, age, etc. First and foremost are large pose and occlusion problems, which can even result in more than 10% performance degradation. Pose-invariant feature representation and face frontalization with generative adversarial networks (GAN) have been widely used to solve the pose problem. However, the synthesis and recognition of occlusive but profile faces is still an uninvestigated problem. To address this issue, in this paper, we aim to contribute an effective solution on how to recognize occlusive but profile faces, even with facial keypoint region (e.g. eyes, nose, etc.) corrupted. Specifically, we propose a boosting Generative Adversarial Network (BoostGAN) for de-occlusion, frontalization, and recognition of faces. Upon the assumption that facial occlusion is partial and incomplete, multiple patch occluded images are fed as inputs for knowledge boosting, such as identity and texture information. A new aggregation structure composed of a deep GAN for coarse face synthesis and a shallow boosting net for fine face generation is further designed. Exhaustive experiments demonstrate that the proposed approach not only presents clear perceptual photo-realistic results but also shows state-of-the-art recognition performance for occlusive but profile faces.

研究动机与目标

• 解决在关键面部区域（如眼睛、鼻子）被遮挡时识别侧脸的挑战，该问题在以往研究中尚未被充分探索。
• 克服现有基于 GAN 的图像补全与正面化方法在开放集遮挡下无法保持身份的问题。
• 开发一个统一框架，同时实现任意遮挡下侧脸的去遮挡、正面化与识别。
• 确保在多种遮挡类型（关键点遮挡 vs. 随机方块遮挡）和姿态变化下的鲁棒性，尤其是在非约束环境中的表现。
• 即使在训练数据中不包含与测试时完全相同的遮挡模式时，也能实现高保真度、身份一致的面部合成。

提出的方法

• 提出两阶段、从粗到精的架构：首先使用深层 GAN 网络（粗网络）进行初始去遮挡与正面化，随后通过浅层提升网络（精网络）进行照片级真实感优化。
• 将多张部分遮挡的侧脸图像作为粗网络的输入，实现对不同遮挡模式的知识聚合，从而提升鲁棒性。
• 在多个尺度上同时引入像素级与特征级监督，以在合成过程中保留身份与纹理信息。
• 采用多输入提升网络，融合来自多个遮挡输入的互补特征，生成清晰、正面且身份一致的面部图像。
• 通过对抗损失、身份保持损失与感知损失联合端到端训练整个模型，以确保输出的真实感与身份保真度。
• 利用残差 U-Net 类生成器与 PatchGAN 判别器，提升最终输出的局部细节生成能力与真实感。

实验结果

研究问题

• RQ1 基于 GAN 的模型能否在关键面部区域受损或缺失时，有效实现侧脸的去遮挡与正面化？
• RQ2 在合成遮挡侧脸时，如何在测试遮挡模式与训练阶段不一致的情况下，仍能保持身份与纹理信息？
• RQ3 从粗到精的多输入提升架构是否优于单输入 GAN，在遮挡条件下生成照片级真实感、身份一致的正面脸？
• RQ4 所提模型能否在非约束环境下，泛化于不同类型遮挡（如关键点遮挡 vs. 随机方块遮挡）与姿态变化？
• RQ5 所提 BoostGAN 在去遮挡质量与下游面部识别性能方面是否优于现有最先进方法？

主要发现

• 在 LFW 数据集的关键点遮挡设置下，BoostGAN 实现了 94.90% 的 AUC，较次佳方法（TP-GAN）高出超过 1.7 个百分点。
• 在随机方块遮挡设置下，BoostGAN 达到 94.75% 的 AUC，显著优于 DR-GAN（66.78%）与 TP-GAN（88.22%），表明其对多种遮挡类型的鲁棒性。
• 在 Multi-PIE 数据集的干净侧脸识别任务中，BoostGAN 实现了 95.86% 的平均 Rank-1 准确率，超过此前最先进方法（TP-GAN 为 94.96%）。
• 模型在所有姿态角度（±15° 至 ±60°）均保持高性能，±15° 时 Rank-1 准确率达到 99.88%，表明其在姿态变化下具有极强的泛化能力。
• 视觉结果表明，即使遮挡区域包含关键面部特征点，BoostGAN 仍能生成照片级真实感、身份一致的面部图像，而先前方法在该条件下往往失效。
• 消融实验确认，多输入提升机制与从粗到精的设计对性能至关重要，消融变体表现出显著的准确率下降。