[论文解读] Generative Hierarchical Features from Synthesizing Images

Yinghao Xu, Yujun Shen+3 more|arXiv (Cornell University)|Jul 20, 2020

Generative Adversarial Networks and Image Synthesis参考文献 72被引用 4

一句话总结

本文提出了一种名为生成式分层特征（GH-Feat）的新方法，该方法利用预训练的StyleGAN生成器作为学习损失函数，训练一个分层编码器，从而生成高度可迁移的视觉特征。该方法在图像生成与判别任务中均达到最先进性能，包括图像编辑、图像合成、分类和关键点检测，在重建质量与特征可迁移性方面优于现有基于GAN的方法。

ABSTRACT

Generative Adversarial Networks (GANs) have recently advanced image synthesis by learning the underlying distribution of the observed data. However, how the features learned from solving the task of image generation are applicable to other vision tasks remains seldom explored. In this work, we show that learning to synthesize images can bring remarkable hierarchical visual features that are generalizable across a wide range of applications. Specifically, we consider the pre-trained StyleGAN generator as a learned loss function and utilize its layer-wise representation to train a novel hierarchical encoder. The visual feature produced by our encoder, termed as Generative Hierarchical Feature (GH-Feat), has strong transferability to both generative and discriminative tasks, including image editing, image harmonization, image classification, face verification, landmark detection, and layout prediction. Extensive qualitative and quantitative experimental results demonstrate the appealing performance of GH-Feat.

研究动机与目标

• 探究通过GAN进行图像生成学习到的特征是否可有效用于分类以外的多样化视觉任务。
• 解决现有基于GAN的特征受限于高层分类任务、缺乏分层可迁移表示的问题。
• 开发一种与预训练StyleGAN生成器的逐层特征对齐的分层编码器，以提升特征提取能力。
• 评估这些特征在生成式与判别式下游任务中的泛化能力。

提出的方法

• 将预训练的StyleGAN生成器视为学习损失函数，替代编码器训练中的传统重建损失。
• 训练分层编码器，使其在输入相同图像时，生成的特征图与StyleGAN生成器的逐层激活相匹配。
• 使用生成器提供的对抗性与感知监督信号训练编码器，其中生成器在ImageNet上预训练后保持固定。
• 在编码器的'res 5'阶段进行特征提取，随后进行自适应平均池化与向量化处理，用于下游分类任务。
• 该方法支持端到端训练编码器，利用生成器内部表示作为监督信号。
• 该方法支持图像重建与风格混合，展示了内容与风格的分层解耦特性。

实验结果

研究问题

• RQ1 预训练的GAN生成器能否作为训练通用视觉特征编码器的有效学习损失函数？
• RQ2 通过该方法提取的特征在多样化视觉任务（包括生成式与判别式应用）中的可迁移程度如何？
• RQ3 与现有方法相比，该编码器的分层结构在风格迁移过程中对身份与纹理的保留能力如何？
• RQ4 重用预训练生成器是否能带来优于从零开始联合训练生成器与编码器的性能与效率？

主要发现

• 在ImageNet图像重建任务中，GH-Feat的Fréchet Inception Distance（FID）达到18.48，显著优于从零开始联合训练生成器与编码器的基线方法（FID：46.20）。
• 该方法的均方误差（MSE）为0.0464，结构相似性（SSIM）为0.558，表明其具有优越的重建质量。
• 在风格混合任务中，GH-Feat在高层特征混合时比ALAE更好地保留了源图像的身份与姿态特征。
• 在图像分类任务中，GH-Feat达到与BigBiGAN等最先进方法相当的性能，同时更具效率与泛化能力。
• 消融实验表明，重用预训练生成器可带来更优性能与更快收敛速度，优于从零开始的联合训练。
• 分层特征在各类任务中表现出强大的可迁移性，包括人脸验证、关键点检测与布局预测，且在性能上持续优于先前的基于GAN的特征学习方法。