[论文解读] Adversarial sampling of unknown and high-dimensional conditional distributions

Malik Hassanaly, Andrew Glaws+2 more|arXiv (Cornell University)|Nov 8, 2021

Probabilistic and Robust Engineering Design参考文献 78被引用 20

一句话总结

本文提出了一种基于生成对抗网络（GAN）的方法，用于在底层概率密度函数（PDF）未知且条件变量为连续变量的情况下，对高维条件分布进行采样。通过利用神经网络或随机逼近法估计条件矩，该方法实现了对复杂系统多样化且高保真度的采样——在大气湍流反卷积任务中得到验证——相比最先进方法，其在不降低保真度的前提下显著提升了样本多样性。

ABSTRACT

Many engineering problems require the prediction of realization-to-realization variability or a refined description of modeled quantities. In that case, it is necessary to sample elements from unknown high-dimensional spaces with possibly millions of degrees of freedom. While there exist methods able to sample elements from probability density functions (PDF) with known shapes, several approximations need to be made when the distribution is unknown. In this paper the sampling method, as well as the inference of the underlying distribution, are both handled with a data-driven method known as generative adversarial networks (GAN), which trains two competing neural networks to produce a network that can effectively generate samples from the training set distribution. In practice, it is often necessary to draw samples from conditional distributions. When the conditional variables are continuous, only one (if any) data point corresponding to a particular value of a conditioning variable may be available, which is not sufficient to estimate the conditional distribution. This work handles this problem using an a priori estimation of the conditional moments of a PDF. Two approaches, stochastic estimation, and an external neural network are compared here for computing these moments; however, any preferred method can be used. The algorithm is demonstrated in the case of the deconvolution of a filtered turbulent flow field. It is shown that all the versions of the proposed algorithm effectively sample the target conditional distribution with minimal impact on the quality of the samples compared to state-of-the-art methods. Additionally, the procedure can be used as a metric for the diversity of samples generated by a conditional GAN (cGAN) conditioned with continuous variables.

研究动机与目标

• 解决在工程系统中，当条件变量为连续变量时，对未知高维条件分布进行采样的挑战。
• 克服连续条件变量数据稀疏的问题，即在训练数据中不存在与给定条件变量完全匹配的情况。
• 在不降低样本质量的前提下，提升条件生成对抗网络（cGAN）生成样本的多样性。
• 通过条件生成建模实现对滤波湍流场的精确反卷积。
• 提供一种基于估计条件矩的度量方法，用于评估cGAN生成样本的多样性。

提出的方法

• 使用神经网络或随机估计方法（如线性或二次逼近）估计未知高维分布的条件矩。
• 将估计的条件矩作为GAN损失函数中的正则化项，引导生成器产生与条件变量一致的多样化样本。
• 通过一种惩罚偏离估计矩的损失函数，将条件矩估计整合到条件生成对抗网络（cGAN）的训练过程中。
• 通过矩匹配约束，强制生成器生成的样本其条件矩与估计的目标矩相匹配。
• 在内容损失、对抗损失和多样性损失之间进行平衡，防止任一损失项在训练中占主导地位。
• 将该方法应用于大气流场反卷积，使用低分辨率观测（如盒式滤波场）作为条件变量，以重建高分辨率湍流场。

实验结果

研究问题

• RQ1 当给定条件变量在数据中无精确匹配时，能否从稀疏的高维数据中可靠估计条件矩？
• RQ2 如何训练条件生成对抗网络，使其能从未知的高维条件分布中生成多样化样本，且条件变量为连续变量？
• RQ3 将估计的条件矩整合到GAN损失中，能在多大程度上提升样本多样性而不降低样本保真度？
• RQ4 所提出的方法能否作为评估cGAN生成样本多样性的可靠度量？
• RQ5 采用神经网络与随机估计方法（如线性或二次逼近）在条件矩估计中，对生成样本的质量与多样性有何影响？

主要发现

• 所提出方法成功仅基于稀疏的连续条件变量，从未知条件分布中生成了高维样本。
• 所有算法版本——无论采用神经网络还是随机矩估计——生成的反卷积场均与其对应的卷积场保持一致。
• 引入矩正则化的基于GAN的方法生成的样本保真度显著优于基线方法，且质量下降可忽略不计。
• 无论采用何种矩估计技术，其生成样本的多样性均显著高于未显式引入矩引导的多样性增强方法。
• 在定性和定量评估中，该方法在捕捉细尺度湍流结构方面优于最先进方法。
• 在内容、对抗和多样性损失之间保持平衡，对防止某一损失项主导训练过程、维持样本一致性和多样性至关重要。