[论文解读] Global and Local Consistent Wavelet-domain Age Synthesis

Peipei Li, Yibo Hu+2 more|arXiv (Cornell University)|Sep 20, 2018

Face recognition and analysis参考文献 38被引用 3

一句话总结

该论文提出WaveletGLCA-GAN，一种新型生成对抗网络，通过在小波域中建模全局面部拓扑结构与局部纹理细节，实现年龄推进或退化的面部合成。通过结合基于小波的频域表示与全局-局部网络，并引入五种专用损失函数，该方法在CACD2000、Morph和FG-NET数据集上，相较于最先进方法，在照片真实感和年龄准确性方面表现更优。

ABSTRACT

Age synthesis is a challenging task due to the complicated and non-linear transformation in human aging process. Aging information is usually reflected in local facial parts, such as wrinkles at the eye corners. However, these local facial parts contribute less in previous GAN based methods for age synthesis. To address this issue, we propose a Wavelet-domain Global and Local Consistent Age Generative Adversarial Network (WaveletGLCA-GAN), in which one global specific network and three local specific networks are integrated together to capture both global topology information and local texture details of human faces. Different from the most existing methods that modeling age synthesis in image-domain, we adopt wavelet transform to depict the textual information in frequency-domain. %Moreover, to achieve accurate age generation under the premise of preserving the identity information, age estimation network and face verification network are employed. Moreover, five types of losses are adopted: 1) adversarial loss aims to generate realistic wavelets; 2) identity preserving loss aims to better preserve identity information; 3) age preserving loss aims to enhance the accuracy of age synthesis; 4) pixel-wise loss aims to preserve the background information of the input face; 5) the total variation regularization aims to remove ghosting artifacts. Our method is evaluated on three face aging datasets, including CACD2000, Morph and FG-NET. Qualitative and quantitative experiments show the superiority of the proposed method over other state-of-the-arts.

研究动机与目标

• 为解决基于GAN的方法在年龄合成中局部纹理细节（如皱纹）丢失的挑战。
• 通过在频域中利用小波变换建模老化模式，而非仅依赖图像域处理，以改善年龄合成效果。
• 在准确生成与年龄相关的面部变化的同时，保持身份和背景信息。
• 减少现有基于GAN的年龄合成模型中常见的过度平滑和伪影问题。
• 在年龄跨度和图像质量各异的多样化数据集上，实现一致且逼真的年龄推进/退化。

提出的方法

• 该方法采用小波域全局与局部一致性年龄生成器（WaveletGLCA-G），将输入面部分解为小波子带，以实现多尺度特征学习。
• 通过一个全局专用网络和三个局部专用网络（分别用于额头、眼睛和嘴巴区域），捕捉老化过程中的结构特征与细微纹理细节。
• 引入小波系数预测网络，用于预测残差小波系数，从而加快收敛速度并提升身份保持能力。
• 应用五种损失函数：对抗损失以提升真实感，身份保持损失以确保一致性，年龄保持损失以提高准确性，像素级损失以保障背景保真度，以及总变差（TV）正则化以抑制伪影。
• 判别器被训练以区分真实目标年龄人脸与生成的人脸，通过对抗训练强化照片真实感。
• 模型以年龄标签作为条件输入，端到端进行训练，实现可控的年龄推进或退化。

实验结果

研究问题

• RQ1 与图像域GAN相比，在小波域中建模老化过程是否能提升合成人脸的保真度与纹理细节？
• RQ2 为实现关键面部区域（如眼睛、额头、嘴巴）的专用网络，其对捕捉与年龄相关的纹理变化有何增强作用？
• RQ3 基于小波的表示在多大程度上提升了身份保持能力并减少了合成过程中的伪影？
• RQ4 在小波域年龄合成中，使用总变差正则化时，真实感与伪影抑制之间的最优权衡是什么？
• RQ5 所提出方法在年龄范围和图像质量各异的多样化数据集上的表现如何？

主要发现

• WaveletGLCA-GAN在CACD2000、Morph和FG-NET数据集上的定性与定量评估中均达到最先进性能。
• 如表III和表IV所示，与GLCA-GAN和Wavelet-GAN相比，该方法显著提升了年龄准确性。
• 视觉对比显示，WaveletGLCA-GAN在眼周和额头等对老化敏感区域生成了更逼真的纹理。
• 小波系数预测网络有助于生成更清晰、更细致的结果，减少过度平滑现象，并增强细微纹理的合成效果。
• 如图16所示，TV损失的权衡参数设为0.0001时，可在伪影抑制与纹理保持之间取得最佳平衡。
• 即使在复杂老化模式的挑战性案例中，该模型仍能成功保持身份与背景信息。