[论文解读] Geometry-Aware Face Completion and Editing

Linsen Song, Jie Cao+3 more|arXiv (Cornell University)|Sep 9, 2018

Face recognition and analysis参考文献 34被引用 5

一句话总结

该论文提出FCENet，一种几何感知的人脸修复与编辑框架，通过利用推断出的面部关键点热图和语义分割图来引导高保真图像生成。通过整合面部几何估计器、解耦的掩码感知生成器以及低秩正则化，FCENet在人脸图像修复任务中实现了最先进性能，同时支持通过几何操作实现面部属性的交互式编辑。

ABSTRACT

Face completion is a challenging generation task because it requires generating visually pleasing new pixels that are semantically consistent with the unmasked face region. This paper proposes a geometry-aware Face Completion and Editing NETwork (FCENet) by systematically studying facial geometry from the unmasked region. Firstly, a facial geometry estimator is learned to estimate facial landmark heatmaps and parsing maps from the unmasked face image. Then, an encoder-decoder structure generator serves to complete a face image and disentangle its mask areas conditioned on both the masked face image and the estimated facial geometry images. Besides, since low-rank property exists in manually labeled masks, a low-rank regularization term is imposed on the disentangled masks, enforcing our completion network to manage occlusion area with various shape and size. Furthermore, our network can generate diverse results from the same masked input by modifying estimated facial geometry, which provides a flexible mean to edit the completed face appearance. Extensive experimental results qualitatively and quantitatively demonstrate that our network is able to generate visually pleasing face completion results and edit face attributes as well.

研究动机与目标

• 为解决在复杂遮挡条件下生成语义一致且视觉逼真的人脸修复结果的挑战。
• 将面部几何先验（如关键点热图和语义分割图）整合到端到端深度学习框架中，以提升修复结果的保真度。
• 通过修改推断出的面部几何图像，实现对人脸属性（如眼睛大小、嘴部形状）的交互式编辑。
• 通过低秩约束对受损人脸图像中的掩码区域进行解耦与正则化，以提升在各种遮挡形状和尺寸下的泛化能力。

提出的方法

• 训练一个面部几何估计器，从掩码人脸图像中预测面部关键点热图和语义分割图，为修复任务提供几何先验。
• 生成器采用条件编码器-解码器架构，以掩码图像和估计的几何信息作为输入，重建完整人脸并解耦掩码区域。
• 对解耦后的掩码矩阵施加低秩正则化项，以强制其结构与真实掩码保持相似，从而提升对不同遮挡形状的鲁棒性。
• 在生成对抗网络（GAN）框架中使用两个判别器（全局和局部），以增强生成人脸图像的真实感。
• 通过在输入生成器前修改面部几何图像（如替换嘴部区域）实现交互式编辑。
• 网络采用对抗损失、感知损失以及低秩掩码正则化项进行端到端联合训练。

实验结果

研究问题

• RQ1 与基线方法相比，面部几何先验（如关键点热图和语义分割图）是否能显著提升人脸修复的质量？
• RQ2 对解耦掩码进行低秩正则化在不同遮挡形状和尺寸下的性能提升程度如何？
• RQ3 同一模型是否可通过修改几何输入同时支持人脸修复与面部属性的交互式编辑？
• RQ4 与单独使用关键点热图或语义分割图相比，两者联合使用在修复质量上表现如何？

主要发现

• 在Multi-PIE数据集上，当同时使用关键点热图和语义分割图并结合低秩正则化时，FCENet的PSNR达到27.714，SSIM达到0.904，优于所有消融实验设置。
• 消融实验表明，引入面部几何信息（关键点或语义分割图）相比无几何信息的基线，PSNR最高提升2.788，SSIM最高提升0.063。
• 与无正则化的基线相比，低秩正则化使PSNR提升0.544，SSIM提升0.004。
• 视觉结果表明，与PM、SII、CE和GFC相比，FCENet生成的人脸更加真实且上下文一致性更强，尤其在眼睛或帽子遮挡等复杂情况下表现更优。
• 该方法可通过仅修改几何输入，灵活实现对眼距、嘴部形状、鼻宽等面部属性的交互式编辑，且对其他属性影响极小。
• 该框架能有效从受损输入中解耦复杂掩码，并在大范围或不规则遮挡下仍保持高保真度。