[论文解读] Enforcing Deterministic Constraints on Generative Adversarial Networks for Emulating Physical Systems

Yang Zeng, Jinlong Wu+1 more|arXiv (Cornell University)|Nov 15, 2019

Model Reduction and Neural Networks参考文献 30被引用 15

一句话总结

本文提出将确定性的、不精确的物理约束（如无散度速度场或几何形状）直接嵌入生成对抗网络（GAN）的生成器损失中，以提升训练稳定性和样本保真度。通过使用可微分的惩罚项强制执行这些约束，该方法加速了收敛并增强了鲁棒性，即使约束仅被近似满足，也能在几何和微分约束任务中显著优于标准 GAN。

ABSTRACT

Generative adversarial networks (GANs) were initially proposed to generate images by learning from a large number of samples. Recently, GANs have been used to emulate complex physical systems such as turbulent flows. However, a critical question must be answered before GANs can be considered trusted emulators for physical systems: do GANs-generated samples conform to the various physical constraints? These include both deterministic constraints (e.g., conservation laws) and statistical constraints (e.g., energy spectrum of turbulent flows). The latter have been studied in a companion paper (Wu et al., Enforcing statistical constraints in generative adversarial networks for modeling chaotic dynamical systems. Journal of Computational Physics. 406, 109209, 2020). In the present work, we enforce deterministic yet imprecise constraints on GANs by incorporating them into the loss function of the generator. We evaluate the performance of physics-constrained GANs on two representative tasks with geometrical constraints (generating points on circles) and differential constraints (generating divergence-free flow velocity fields), respectively. In both cases, the constrained GANs produced samples that conform to the underlying constraints rather accurately, even though the constraints are only enforced up to a specified interval. More importantly, the imposed constraints significantly accelerate the convergence and improve the robustness in the training, indicating that they serve as a physics-based regularization. These improvements are noteworthy, as the convergence and robustness are two well-known obstacles in the training of GANs.

研究动机与目标

• 解决 GAN 生成样本在复杂物理系统（如湍流）中缺乏物理一致性的问题。
• 改善 GAN 训练的收敛性和鲁棒性，这是对抗训练中众所周知的挑战。
• 开发一种可泛化的框架，将确定性的、不精确的物理约束融入 GAN，而无需严格满足约束条件。
• 评估通过在生成器损失函数中强制执行约束来实现基于物理的正则化的效果。
• 证明即使约束仅被近似满足，也能显著提升 GAN 在模拟物理系统方面的性能。

提出的方法

• 将确定性物理约束（如无散度速度场或圆周上的点）作为可微分惩罚项，融入生成器的损失函数。
• 使用仅在约束违反程度超过容差阈值 ε 时才激活的约束损失函数，从而实现不精确的强制执行。
• 将约束惩罚表述为约束违反程度的函数，例如当散度超过 ε 时使用 |∇·v|，以保持可微性。
• 使用标准对抗训练框架训练 GAN，但生成器损失经过修改，同时包含对抗损失和物理约束惩罚项。
• 调整约束项权重 λ 和容差 ε，以研究其对收敛性和约束满足程度的影响。
• 在两个测试案例上评估性能：生成圆周上的点（几何约束）和生成无散度速度场（微分约束）。

实验结果

研究问题

• RQ1 不精确的确定性约束能否有效嵌入 GAN，以提升训练收敛性和鲁棒性？
• RQ2 约束容差 ε 的水平如何影响 GAN 训练中约束强制执行的稳定性和准确性？
• RQ3 通过约束惩罚实现的基于物理的正则化，在多大程度上提升了生成样本的质量，相比标准 GAN？
• RQ4 即使强制执行的约束仅被近似满足，是否仍能带来有意义的 GAN 性能提升？
• RQ5 基于 ε 容差的不连续约束损失函数（如 ε-容忍）对训练稳定性有何影响？

主要发现

• 即使约束仅被近似满足，物理约束 GAN 也显著加快了训练收敛速度并提升了鲁棒性，相比标准 GAN。
• 在无散度速度场任务中，ε = 0 和 ε = 1 的约束强制执行使平均散度值接近零（训练数据中为 0.64），而 ε = 2.3 导致因损失函数间歇性激活而出现不稳定现象。
• 标准 GAN（等价于 ε → ∞）生成的速度场平均散度大于约束 GAN 在 ε = 0 或 ε = 1 时的结果，表明约束强制执行提升了物理保真度。
• 带有容差 ε 的约束损失函数在约束违反程度穿越 ε 时引入梯度不连续性，当 ε 过大（如 ε = 2.3）时会导致训练不稳定，表现为训练历史的波动。
• 即使使用不精确约束（如 ε = 1），GAN 生成的样本仍能紧密满足物理约束，证明了正则化方法的有效性。
• 该方法成功强制执行了几何约束（圆）和微分约束（无散度），表明其在多种物理系统中具有广泛适用性。