[论文解读] PandA: Unsupervised Learning of Parts and Appearances in the Feature Maps of GANs

J. E. Oldfield, Christos Tzelepis+3 more|arXiv (Cornell University)|May 31, 2022

Generative Adversarial Networks and Image Synthesis被引用 10

一句话总结

PandA 提出了一种与架构无关的无监督方法，通过半非负tensor分解，在预训练GAN的特征图中联合发现可解释的部件和外观因子。该方法实现了上下文感知的、像素级的局部图像编辑，无需任何监督，其准确度优于最先进方法，且训练时间仅为最先进方法的1/400。

ABSTRACT

Recent advances in the understanding of Generative Adversarial Networks (GANs) have led to remarkable progress in visual editing and synthesis tasks, capitalizing on the rich semantics that are embedded in the latent spaces of pre-trained GANs. However, existing methods are often tailored to specific GAN architectures and are limited to either discovering global semantic directions that do not facilitate localized control, or require some form of supervision through manually provided regions or segmentation masks. In this light, we present an architecture-agnostic approach that jointly discovers factors representing spatial parts and their appearances in an entirely unsupervised fashion. These factors are obtained by applying a semi-nonnegative tensor factorization on the feature maps, which in turn enables context-aware local image editing with pixel-level control. In addition, we show that the discovered appearance factors correspond to saliency maps that localize concepts of interest, without using any labels. Experiments on a wide range of GAN architectures and datasets show that, in comparison to the state of the art, our method is far more efficient in terms of training time and, most importantly, provides much more accurate localized control. Our code is available at: https://github.com/james-oldfield/PandA.

研究动机与目标

• 开发一种通用的、与架构无关的方法，以无监督方式解释和编辑 GAN 生成的图像。
• 在无监督条件下，联合发现预训练 GAN 特征图中的空间部件及其外观因子。
• 实现精确的、上下文感知的局部图像编辑，具备像素级控制能力，避免依赖人工区域标注或分割掩码。
• 与现有的基于梯度或计算密集型优化的方法相比，显著减少训练时间。
• 在不使用任何标签的情况下，识别所学概念的显著性图。

提出的方法

• 该方法将半非负tensor分解应用于来自预训练 GAN 的深度特征图数据集 $\mathcal{Z} \in \mathbb{R}^{M \times H \times W \times C}$。
• 通过约束优化，将特征图分解为全局部件因子和外观因子，实现解耦表示学习。
• 部件因子通过交替优化学习，初始值使用高阶奇异值分解（HOSVD）以提升收敛性和可解释性。
• 通过在重构损失上进行梯度下降，对外观因子进行优化，使其对应于显著且语义有意义的模式。
• 该方法避免了对每个区域进行昂贵的雅可比矩阵或梯度计算，仅依赖一次高效分解步骤。
• 该框架与多种 GAN 架构兼容，包括 StyleGAN、ProgressiveGAN 和 BigGAN，且无需修改网络架构。

实验结果

研究问题

• RQ1 我们能否在不使用任何人工标注区域或分割掩码的情况下，从 GAN 特征图中发现可解释的部件和外观因子？
• RQ2 我们能否仅通过无监督的特征图分解，实现像素级的局部图像编辑控制？
• RQ3 与需要迭代优化或梯度计算的最先进方法相比，所提出方法是否显著减少了训练时间？
• RQ4 所发现的外观因子是否能在无监督条件下对应于有意义的概念显著性图（如“背景”或“皮肤”）？
• RQ5 该方法是否能在无需针对特定架构调优的情况下，泛化到多种不同的 GAN 架构？

主要发现

• PandA 将训练时间减少至 LowRankGAN 的 1/400 以下，以及 StyleSpace 的 1/170 以下，展现出显著的效率优势。
• 该方法在无需人工区域标注的情况下，实现了比最先进方法更精确的局部图像编辑。
• PandA 发现的外观因子即使在无标签条件下，也能对应于“背景”或“皮肤”等有意义的概念显著性图。
• 在不同秩和训练迭代次数下，部件因子保持稳定且语义可解释，表明其鲁棒性。
• 该方法在所有测试的 GAN 架构（包括 StyleGAN1、StyleGAN2、StyleGAN3 和 ProgressiveGAN）中成功识别出“背景”等共性概念。
• 使用 HOSVD 初始化显著提升了收敛速度，并生成了比基于 SVD 的替代方案更具可解释性的初始因子。