[論文レビュー] Physics-Informed Generative Adversarial Networks for Stochastic Differential Equations

Liu Yang, Dongkun Zhang+1 more|arXiv (Cornell University)|Nov 5, 2018

Model Reduction and Neural Networks参考文献 32被引用数 59

ひとこと要約

PI-GANsは確率微分方程式をGANにエンコードして、限られた散在データで前方・逆方・混合SDE問題を解く。安定性のためにWGAN-GPを活用する。高次元の確率的問題を次元の呪いなしで扱い、マルチグループセンサデータをサポートするフレームワーク。

ABSTRACT

We developed a new class of physics-informed generative adversarial networks (PI-GANs) to solve in a unified manner forward, inverse and mixed stochastic problems based on a limited number of scattered measurements. Unlike standard GANs relying only on data for training, here we encoded into the architecture of GANs the governing physical laws in the form of stochastic differential equations (SDEs) using automatic differentiation. In particular, we applied Wasserstein GANs with gradient penalty (WGAN-GP) for its enhanced stability compared to vanilla GANs. We first tested WGAN-GP in approximating Gaussian processes of different correlation lengths based on data realizations collected from simultaneous reads at sparsely placed sensors. We obtained good approximation of the generated stochastic processes to the target ones even for a mismatch between the input noise dimensionality and the effective dimensionality of the target stochastic processes. We also studied the overfitting issue for both the discriminator and generator, and we found that overfitting occurs also in the generator in addition to the discriminator as previously reported. Subsequently, we considered the solution of elliptic SDEs requiring approximations of three stochastic processes, namely the solution, the forcing, and the diffusion coefficient. We used three generators for the PI-GANs, two of them were feed forward deep neural networks (DNNs) while the other one was the neural network induced by the SDE. Depending on the data, we employed one or multiple feed forward DNNs as the discriminators in PI-GANs. Here, we have demonstrated the accuracy and effectiveness of PI-GANs in solving SDEs for up to 30 dimensions, but in principle, PI-GANs could tackle very high dimensional problems given more sensor data with low-polynomial growth in computational cost.

研究の動機と目的

• SDEに支配された前方・逆方・混合の確率的問題を統一的にデータ駆動で扱うアプローチを動機づける。
• 限られた測定データから確率項を学習するために、既知の物理法則をGANアーキテクチャに組み込む。
• 高次元の確率過程と複数のセンサグループに対応できる拡張可能な手法を開発する。

提案手法

• k(x;ω) や u(x;ω) のような確率過程をモデル化するために、2つの独立した前向きネットワークを用いる。
• 自動微分を用いてSDEと境界演算子をエンコードし、f(x;ω)と b(x;ω) の誘導ニューラルネットワークを作成する。
• 勾配ペナルティ付きのWGAN-GPを適用し、安定な敵対的トレーニングを行い、目標となる確率分布を近似する。
• 複数のデータグループと識別子を採用して、異なるセンサグループからのデータを扱い、グループ間で物理性を適用する。
• Adagrad/Adamオプティマイザを用いて、データ駆動の敵対的損失で生成器と識別器を交互に訓練する。
• 基盤となるPI-GAN構造を変更せずに、前方・逆方・混合問題へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 PI-GANsは、限られた散在データのセンサから確率過程と確率係数を正確に学習できるか？
• RQ2 GAN内でSDEの物理をエンコードすることが、データのみのGANと比べて安定性と精度にどう影響するか？
• RQ3 PI-GANsは、単一のフレームワーク内で前方・逆方・混合の確率的問題を解けるか？
• RQ4 データが不揃いまたは異質な場合、複数のセンサグループが学習に与える影響は何か？

主な発見

• WGAN-GPは、相関長さやセンサ数が変化しても、確率過程の安定した学習と分布の正確な一致を可能にする。
• PI-GANsは適切なセンサデータを用いると、30次元までの確率過程を近似でき、次元の呪いを経験しない。
• 識別器と生成器の両方で過学習が生じることがあり、生成器も含まれ、生成器の訓練とデータ管理の重要性を強調する。
• 本手法は、確率解と拡散係数の平均と標準偏差を、ベンチマークと良い一致を示して出力する。
• 別々の識別器を持つ複数のデータグループを用いることで、整合性要求なしに多様なデータ源を活用できる。
• 目標分布が低次元の多様体に集約する場合（例：固定境界ケース）に、WGAN-GPは通常のGANよりも優れている。