[论文解读] Encoding Invariances in Deep Generative Models

Viraj Shah, Ameya Joshi+5 more|arXiv (Cornell University)|Jun 4, 2019

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 20

一句话总结

本文提出InvNet，一种深度生成模型，通过额外的不变性损失，将已知的不变性（如物理定律、几何模式或统计约束）编码进生成对抗网络（GANs）中。通过结合三重交替优化与额外梯度下降法，InvNet实现了稳定的训练，并生成严格遵守预设不变性的数据，在样本效率和准确性方面优于标准GANs及现有的PDE求解器。

ABSTRACT

Reliable training of generative adversarial networks (GANs) typically require massive datasets in order to model complicated distributions. However, in several applications, training samples obey invariances that are extit{a priori} known; for example, in complex physics simulations, the training data obey universal laws encoded as well-defined mathematical equations. In this paper, we propose a new generative modeling approach, InvNet, that can efficiently model data spaces with known invariances. We devise an adversarial training algorithm to encode them into data distribution. We validate our framework in three experimental settings: generating images with fixed motifs; solving nonlinear partial differential equations (PDEs); and reconstructing two-phase microstructures with desired statistical properties. We complement our experiments with several theoretical results.

研究动机与目标

• 解决在已知先验不变性时，标准GAN在建模复杂分布所面临的高样本复杂度问题。
• 开发一种方法，在生成建模过程中显式强制执行分析定义的不变性（如物理定律或统计约束）。
• 通过将不变性约束整合进GAN框架，实现数据高效且稳定的生成模型训练。
• 在多样化领域中展示该框架的有效性：图像模式生成、PDE解合成以及微观结构模拟。

提出的方法

• 提出InvNet，一种基于GAN的框架，在标准生成器-判别器设置中引入不变性检查器（I(.))，以强制执行结构或统计不变性。
• 提出一种包含新型不变性损失项的极小化-极大化博弈公式，确保生成器学习生成满足预设约束的样本。
• 采用三重交替优化：按顺序更新生成器、判别器和不变性损失，以稳定训练过程。
• 使用额外梯度下降法（EGD）稳定训练动态，该方法已被证明在标准梯度下降发散时仍能收敛。
• 在微观结构生成中应用矩匹配约束，以编码统计不变性。
• 设计一种改进的判别器架构，更好地捕捉并强制执行不变性，从而提升训练稳定性和性能。

实验结果

研究问题

• RQ1 能否系统性地扩展深度生成模型，以在不依赖大规模数据集的情况下强制执行已知不变性（如PDE或几何模式）？
• RQ2 判别器架构的选择在多大程度上影响模型将目标不变性编码进生成器的能力？
• RQ3 为何标准梯度下降更新在InvNet中导致训练动态不稳定？该问题如何得以解决？
• RQ4 InvNet能否在无任何训练数据的情况下，仅依赖结构不变性，实现对PDE的竞争力求解？
• RQ5 在生成建模中，强制执行不变性在多大程度上能提升样本质量并降低样本复杂度？

主要发现

• InvNet通过强制执行不变性约束，成功生成具有固定模式的图像，表明不变性感知训练可提升生成结果的保真度与一致性。
• 在PDE求解方面，InvNet在非线性Burgers方程的粘性与无粘性两种情形下均取得具有竞争力的结果，甚至在无任何训练数据的情况下（仅使用PDE作为不变性）也能实现。
• 在微观结构生成中，InvNet在计算效率上优于标准数值方法，同时能精确匹配目标统计特性。
• 理论分析表明，标准梯度下降在InvNet训练中会发散，原因在于更新矩阵的奇异值超过1，因此需要采用替代优化策略。
• 额外梯度下降法（EGD）被证明可稳定训练并形成压缩映射，在适当步长选择下可收敛至正确平衡点。
• 当真实数据分布满足不变性时，判别器能学习到该不变性；否则，必须修改判别器以避免不变性不匹配。