[论文解读] MaGNET: Uniform Sampling from Deep Generative Network Manifolds Without Retraining

Ahmed Imtiaz Humayun, Randall Balestriero+1 more|arXiv (Cornell University)|Oct 15, 2021

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

MaGNET 是一种即插即用的方法，可在不微调的情况下实现对任意预训练深度生成网络（DGN）流形的均匀采样，通过解析变换连续分段仿射（CPA）映射，实现数据流形上可证明的均匀分布。该方法在 SOTA 模型（如 StyleGAN2）中提升了公平性、精确率和召回率，性别偏见降低 41.2%，精确率和召回率分别提升 3.0% 和 4.1%，且无需标签或结构修改。

ABSTRACT

Deep Generative Networks (DGNs) are extensively employed in Generative Adversarial Networks (GANs), Variational Autoencoders (VAEs), and their variants to approximate the data manifold and distribution. However, training samples are often distributed in a non-uniform fashion on the manifold, due to costs or convenience of collection. For example, the CelebA dataset contains a large fraction of smiling faces. These inconsistencies will be reproduced when sampling from the trained DGN, which is not always preferred, e.g., for fairness or data augmentation. In response, we develop MaGNET, a novel and theoretically motivated latent space sampler for any pre-trained DGN, that produces samples uniformly distributed on the learned manifold. We perform a range of experiments on various datasets and DGNs, e.g., for the state-of-the-art StyleGAN2 trained on FFHQ dataset, uniform sampling via MaGNET increases distribution precision and recall by 4.1\\% \\& 3.0\\% and decreases gender bias by 41.2\\%, without requiring labels or retraining. As uniform distribution does not imply uniform semantic distribution, we also explore separately how semantic attributes of generated samples vary under MaGNET sampling.

研究动机与目标

• 解决由训练数据分布偏差或非均匀导致的深度生成网络（DGN）中非均匀采样问题。
• 开发一种无需微调或标签即可在 DGN 学习的流形上实现均匀采样的方法。
• 提升预训练模型（如 StyleGAN2 和 ProGAN）生成样本的公平性、多样性与统计鲁棒性。
• 提供一个理论基础坚实的即插即用解决方案，适用于任何具有 CPA 非线性激活（如 ReLU）的可微分 DGN。

提出的方法

• MaGNET 推导出一种解析变换，利用 CPA 映射的雅可比行列式，将标准潜在分布映射为 DGN 学习流形上的均匀分布。
• 它利用连续分段仿射（CPA）网络（如使用（Leaky）ReLU 的网络）的结构，基于局部线性变换精确计算采样校正。
• 对于平滑非线性激活，MaGNET 应用一阶泰勒近似来近似 CPA 变换。
• 该方法直接应用于预训练 DGN 的潜在空间，通过调整采样分布以实现在数据流形上的均匀性。
• 该方法兼容多种 DGN 架构，包括 GAN、VAE 和归一化流，前提是其使用 CPA 或可近似的非线性激活。
• 该方法在多个数据集和模型上得到验证，包括使用 StyleGAN2 和 ProGAN 的 FFHQ 数据集，采用精确率、召回率和偏见评估等指标。

实验结果

研究问题

• RQ1 我们能否在不微调或访问标签的情况下，实现对预训练 DGN 流形的均匀采样？
• RQ2 通过 MaGNET 实现的均匀采样，如何影响在有偏见训练数据下生成样本的公平性、多样性和保真度？
• RQ3 将标准潜在分布转换为 CPA 流形上均匀分布的理论基础是什么？
• RQ4 MaGNET 是否能改善数据流形上几何属性（如利普希茨常数）的统计估计？
• RQ5 MaGNET 采样能否在属性更解耦的潜在空间（如 StyleGAN2 的风格空间）中有效应用？

主要发现

• 与标准潜在空间采样相比，MaGNET 在 StyleGAN2 的风格空间流形上采样时，精确率和召回率分别提升 3.01% 和 4.12%。
• 在使用 MaGNET 对风格空间进行采样后，StyleGAN2 生成人脸中的性别偏见从 67–33%（女性-男性）降低至 60–40%。
• MaGNET 成功生成了在标准采样中罕见的被低估属性，如女性胡须和男性化妆。
• 该方法通过访问 DGN 近似能力较弱的流形区域，显著提升了样本多样性，视觉对比结果已验证此现象。
• MaGNET 在提升覆盖度的同时保持了高保真度，10 个随机种子下的精确率和召回率指标均显示性能提升。
• 该方法在不同 DGN 架构上均表现稳健，无需修改网络结构，可有效应用于像素空间和风格空间流形。