[论文解读] Idempotent Generative Network

Assaf Shocher, Amil Dravid+4 more|arXiv (Cornell University)|Nov 2, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出了幂等生成网络（IGN），一种新型生成模型，通过训练使其具备幂等性——即多次应用模型不会在首次应用后产生进一步变化。通过优化 $f(f(z)) = f(z)$，IGN 能够在一步之内将任意分布的输入（如噪声、受损图像）投影到目标数据流形（如真实图像）上，实现一致的潜在空间操作和单模型零样本图像到图像翻译。

ABSTRACT

We propose a new approach for generative modeling based on training a neural network to be idempotent. An idempotent operator is one that can be applied sequentially without changing the result beyond the initial application, namely $f(f(z))=f(z)$. The proposed model $f$ is trained to map a source distribution (e.g, Gaussian noise) to a target distribution (e.g. realistic images) using the following objectives: (1) Instances from the target distribution should map to themselves, namely $f(x)=x$. We define the target manifold as the set of all instances that $f$ maps to themselves. (2) Instances that form the source distribution should map onto the defined target manifold. This is achieved by optimizing the idempotence term, $f(f(z))=f(z)$ which encourages the range of $f(z)$ to be on the target manifold. Under ideal assumptions such a process provably converges to the target distribution. This strategy results in a model capable of generating an output in one step, maintaining a consistent latent space, while also allowing sequential applications for refinement. Additionally, we find that by processing inputs from both target and source distributions, the model adeptly projects corrupted or modified data back to the target manifold. This work is a first step towards a ``global projector'' that enables projecting any input into a target data distribution.

研究动机与目标

• 开发一种统一的生成模型，能够在单步内将多样化输入（如噪声、草图或受损图像）投影到目标数据流形（如真实图像）上。
• 通过使单一模型能够处理任意输入类型，解决现有模型对特定输入类型（如 GAN 中的潜在噪声或扩散模型中的加噪图像）的依赖性限制。
• 实现一致的潜在空间属性，并同时支持单步生成与序列化优化，融合 GAN 与扩散模型的优势。
• 探索基于幂等性的生成建模新范式，使模型作为数据流形的全局投影器发挥作用。
• 通过训练模型实现任意输入到目标分布的幂等投影，无需反演或条件控制，从而实现零样本图像到图像翻译。

提出的方法

• 训练神经网络 $f$ 使其具备幂等性，满足 $f(f(z)) = f(z)$，确保重复应用不会在首次应用后改变输出。
• 将目标流形定义为所有满足 $f(x) = x$ 的输入 $x$ 的集合，确保真实数据样本在模型变换下保持不变。
• 通过幂等性损失 $\mathcal{L}_{\text{idem}} = \|f(f(z)) - f(z)\|^2$ 优化 $f$，使其将源分布样本 $z \sim \mathcal{P}_z$ 投影到该目标流形上。
• 引入紧致性损失 $\mathcal{L}_{\text{tight}}$，防止平凡解的出现，确保非目标输入满足 $f(f(z)) \neq f(z)$，从而在幂等性目标上实现平衡。
• 采用自对偶训练方案，其中 $f$ 同时充当生成器与判别器，判别器 $\delta$ 通过测量距离 $D(f(y), y)$ 来引导 $f$ 实现低能量、稳定的投影。
• 采用残差 U-Net 架构作为 $f$，结合幂等性、重建与紧致性损失进行训练，实现高保真图像生成与优化。

Figure 1: The basic idea behind IGN: real examples ( $x$ ) are invariant to the model $f$ : $f(x)=x$ . other inputs ( $z$ ) are projected onto the manifold of instances that $f$ maps to themselves by optimizing for $f(f(z))=f(z)$ .

实验结果

研究问题

• RQ1 能否通过幂等性训练单个生成模型，实现对任意输入（如噪声、受损图像）在一步之内投影到目标数据流形？
• RQ2 强制执行幂等性 $f(f(z)) = f(z)$ 是否能实现稳定、一致且高质量的生成，而无需迭代优化或条件控制？
• RQ3 该模型能否在保持一致潜在空间的同时，支持通过多次应用实现序列化优化，类似扩散模型，但具备 GAN 的一步生成能力？
• RQ4 该模型在无需反演或微调的情况下，对零样本图像到图像翻译任务的泛化能力如何？
• RQ5 自对偶训练方案（模型同时充当生成器与判别器）如何在不引发模式崩溃的情况下实现稳定优化？

主要发现

• 通过幂等性将输入投影到目标数据流形，该模型能够从任意输入分布（包括噪声和受损图像）实现一步生成高保真图像。
• 幂等性训练目标 $f(f(z)) = f(z)$ 确保样本一旦被投影到目标流形，后续应用不再改变其结果，从而实现稳定且一致的推理。
• 该模型维持了一致的潜在空间，支持便捷的插值与操作，与依赖迭代去噪路径的扩散模型形成对比。
• 自对偶训练方案使 $f$ 同时充当生成器与判别器，实现了有效优化，且无需交替训练步骤，简化了训练流程。
• 该模型成功实现了零样本图像到图像翻译，能将退化或修改后的输入（如草图、低质量图像）投影回真实图像流形，而无需反演或条件监督。
• 尽管存在自编码器常见的模糊问题，但模型的重复应用可逐步优化伪影并提升感知质量，表明其在高保真生成中具备迭代优化的潜力。

Figure 2: Two distinct pathways to enforce Idempotence: By updating $f$ so it maps $f(z)$ into the $\{f(y)=y\}$ area (updating through first instatiation, ${\color[rgb]{1,0,0}\Delta f}$ ) or by expanding the $\{f(y)=y\}$ area so that for a given $y=f(z)$ , we get $f(y)=y$ (updating through second in