[論文レビュー] Adversarial sampling of unknown and high-dimensional conditional distributions

Malik Hassanaly, Andrew Glaws+2 more|arXiv (Cornell University)|Nov 8, 2021

Probabilistic and Robust Engineering Design参考文献 78被引用数 20

ひとこと要約

本稿では、基礎となる確率密度関数（PDF）が未知であり、条件付き変数が連続的な場合に、高次元の条件付き分布からのサンプリングをGANベースの手法で提案する。ニューラルネットワークや確率的近似を用いて条件付きモーメントを推定することで、複雑なシステムにおける多様で高精細なサンプリングが可能になる。大気乱流の復元に応用されたが、最先端の手法と比較して忠実度を損なわず、サンプルの多様性が向上している。

ABSTRACT

Many engineering problems require the prediction of realization-to-realization variability or a refined description of modeled quantities. In that case, it is necessary to sample elements from unknown high-dimensional spaces with possibly millions of degrees of freedom. While there exist methods able to sample elements from probability density functions (PDF) with known shapes, several approximations need to be made when the distribution is unknown. In this paper the sampling method, as well as the inference of the underlying distribution, are both handled with a data-driven method known as generative adversarial networks (GAN), which trains two competing neural networks to produce a network that can effectively generate samples from the training set distribution. In practice, it is often necessary to draw samples from conditional distributions. When the conditional variables are continuous, only one (if any) data point corresponding to a particular value of a conditioning variable may be available, which is not sufficient to estimate the conditional distribution. This work handles this problem using an a priori estimation of the conditional moments of a PDF. Two approaches, stochastic estimation, and an external neural network are compared here for computing these moments; however, any preferred method can be used. The algorithm is demonstrated in the case of the deconvolution of a filtered turbulent flow field. It is shown that all the versions of the proposed algorithm effectively sample the target conditional distribution with minimal impact on the quality of the samples compared to state-of-the-art methods. Additionally, the procedure can be used as a metric for the diversity of samples generated by a conditional GAN (cGAN) conditioned with continuous variables.

研究の動機と目的

• 連続的な条件付き変数を有する工学的システムにおいて、未知の高次元条件付き分布からのサンプリングの課題に対処すること。
• 訓練データに正確な一致が存在しない連続的条件付き変数におけるデータの疎らさという制限を克服すること。
• 条件付きGANが生成するサンプルの多様性を向上させつつ、サンプル品質を劣化させないこと。
• 条件付き生成モデルを用いて、フィルタリングされた乱流場の正確な復元を可能にすること。
• 推定された条件付きモーメントを用いて、条件付きGANが生成するサンプルの多様性を評価するための指標を提供すること。

提案手法

• 未知の高次元分布の条件付きモーメントを、ニューラルネットワークまたは確率的推定（例：線形または二次近似）を用いて推定する。
• 推定されたモーメントをGANの損失関数における正則化項として用い、生成器が条件付き変数と整合した多様なサンプルを生成するように誘導する。
• 条件付きモーメント推定を、条件付きGAN（cGAN）の学習に統合し、推定されたモーメントからの逸脱をペナルティとする多様性損失関数を導入する。
• 生成器が、推定されたターゲットモーメントと一致する条件付きモーメントを持つサンプルを生成するように制約を課す。
• コンテンツ、対抗的、多様性の各項の損失関数をバランスさせ、いずれの成分の影響が過剰に強まらないようにする。
• 低解像度の観測（例：ボックスフィルタリングされた場）を条件付き変数として用い、大気流れの復元に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 正確な一致が存在しない場合に、スパースで高次元なデータから条件付きモーメントを信頼性を持って推定できるか？
• RQ2 未知の高次元条件付き分布に連続的な条件付き変数を用いて、条件付きGANが多様なサンプルを生成するにはどうすればよいか？
• RQ3 推定された条件付きモーメントをGANの損失関数に組み込むことで、サンプルの多様性が向上し、忠実度が低下しない程度にまで改善されるか？
• RQ4 提案手法が、cGANが生成するサンプルの多様性を評価するための信頼性のある指標として機能できるか？
• RQ5 モーメント推定手法の選択（ニューラルネットワーク対確率的推定）が、生成されたサンプルの品質および多様性に与える影響はいかほどか？

主な発見

• 提案手法は、スパースで連続的な条件付き変数のみを用いて、未知の条件付き分布からの高次元サンプルを効果的に生成できた。
• ニューラルネットワークまたは確率的モーメント推定を用いたすべてのバージョンのアルゴリズムが、畳み込み済みの対応する場と整合した復元場を生成した。
• モーメント正則化を施したGANベースの手法は、ベースライン手法と比較して顕著に高い忠実度を示し、品質の低下は最小限に抑えられた。
• どのモーメント推定技術を用いても、明示的なモーメントガイドなしに多様性を高める手法と比較して、一貫して高いサンプル多様性が達成された。
• 特に微細な乱流構造を捉える能力において、定性的および定量的評価の両面で最先端の手法を上回った。
• コンテンツ、対抗的、多様性の各損失項のバランスが、特定の損失成分が支配的になるのを防ぎ、サンプルの一貫性と多様性を維持するために不可欠であった。