[論文レビュー] Diffusion model based data generation for partial differential equations

Rucha Apte, Sheel Nidhan+2 more|arXiv (Cornell University)|Jun 19, 2023

Computational Physics and Python Applications被引用数 4

ひとこと要約

本論文は、物理ベースのシミュレーションのための拡散モデルに基づくデータ生成フレームワークを提案する。ノイズ除去拡散暗黙モデル（DDIM）を用いて、2次元ポアソン方程式およびナビエ＝ストークス方程式の高精度な解を合成する。物理的制約（PDE残差の最小化およびソルバー比較）を適用することで、物理的に整合的で多様性があり、統計的に正確な合成データを達成し、ナビエ＝ストークス方程式では最小で8×10⁻³、ポアソン方程式では1.5×10⁻⁴のMSE値を達成した。

ABSTRACT

In a preliminary attempt to address the problem of data scarcity in physics-based machine learning, we introduce a novel methodology for data generation in physics-based simulations. Our motivation is to overcome the limitations posed by the limited availability of numerical data. To achieve this, we leverage a diffusion model that allows us to generate synthetic data samples and test them for two canonical cases: (a) the steady 2-D Poisson equation, and (b) the forced unsteady 2-D Navier-Stokes (NS) {vorticity-transport} equation in a confined box. By comparing the generated data samples against outputs from classical solvers, we assess their accuracy and examine their adherence to the underlying physics laws. In this way, we emphasize the importance of not only satisfying visual and statistical comparisons with solver data but also ensuring the generated data's conformity to physics laws, thus enabling their effective utilization in downstream tasks.

研究の動機と目的

• 物理ベースの機械学習におけるデータ不足を解決するため、拡散モデルを用いて合成シミュレーションデータを生成すること。
• 生成されたデータが、ソルバー出力の統計的・視覚的類似性にとどまらず、根本的な物理法則に従うことを保証すること。
• 無条件拡散モデルを用いて、代表的なPDEに対する物理的に整合性のある解を生成する可能性を実証すること。
• 物理的フィルタリング（例：PDE残差やソルバー比較）が、高品質で物理的に妥当なサンプルを選別するのにどの程度有効であるかを評価すること。
• 将来的に超解像やパrameter条件付き拡張が可能となるように、科学的機械学習におけるスケーラブルで一般化可能なデータ生成の基盤を築くこと。

提案手法

• ガウスノイズから出発して、U-Netアーキテクチャを用いたノイズ除去拡散暗黙モデル（DDIM）を用いて、合成PDE解を生成する。
• 1000ステップの前向きプロセスと500ステップの逆方向サンプリングを用い、品質を保持しつつ生成を高速化するためのコサインノイズスケジュールを採用する。
• 2次元ポアソン方程式の場合、解 $ u $ とソース項 $ f $ をU-Netの入力として別々のチャネルとして入力する。
• 時間依存のナビエ＝ストークス問題の場合、複数のタイムステップをU-Net入力として別々のチャネルとして符号化する。
• 物理的フィルタリングを適用：ポアソン方程式では、PDE残差MSE（$ |\nabla^2 u - f| $）が最小となるサンプルを選択する。ナビエ＝ストークス方程式では、生成されたスナップショットを古典的ソルバー出力と比較する。
• 500ステップのDDIMサンプリングプロセスを用いて、ランダムノイズからノイズ除去出力を生成し、効率的で多様なサンプル生成を実現する。

Figure 1: Four $[f_{\mathrm{generated}},u_{\mathrm{generated}}]$ pairs generated from diffusion model (first two columns from left), $u_{\mathrm{solver}}$ generated from the corresponding $f$ (third column), PDE residual calculated using generated $[f,u]$ pairs (fourth column). $\mathrm{MSE}$ of PDE

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、古典的ソルバー出力と視覚的および統計的に類似したPDEの合成データを生成できるか？
• RQ2 トレーニング時に物理的要因を明示的に組み込まずに、拡散生成データが根本的な物理法則をどの程度満たせるか？
• RQ3 PDE残差やソルバー比較などの物理的後処理フィルタが、物理的に整合性のあるサンプルの選別にどの程度有効か？
• RQ4 生成されたデータは、科学計算分野の下流の機械学習タスクに有用であるほど十分な多様性と新規性を示せるか？
• RQ5 代表的なPDE（ポアソンおよびナビエ＝ストークス方程式）に関して、拡散生成データとソルバー生成データとの間の定量的および定性的な差異は何か？

主な発見

• 拡散モデルは、2次元ポアソン方程式および2次元ナビエ＝ストークス方程式の両方について、視覚的および統計的に整合性のあるサンプルを効果的に生成した。
• 2次元ポアソン方程式において、グリッド全体におけるPDE残差MSEは最小で1.5×10⁻⁴にまで低下し、支配的方程式への強い適合性を示した。
• 2次元ナビエ＝ストークスの渦度輸送方程式においては、最初の4タイムステップにおいて、拡散生成データとソルバー生成データとの間のMSEは約8×10⁻³であった。
• MSEが0.045に達する場合でも、流れのダイナミクスは定性的に一致しており、両方の出力で[0.5, 0.5]周辺の渦巻き構造が観察された。
• 拡散生成データの平均渦度場は、励起関数によって誘発される傾斜付きパッチ構造を定性的に再現したが、ソルバー出力と比較して正の渦度パッチがより顕著に現れた。
• 視覚的検査により、生成されたサンプルが高品質で多様性に富み、解空間の有効な探索が行われていることが確認された。

Figure 2: Diffusion- and solver-generated vorticity snapshots for 2-D forced NS system. Top two rows correspond to $\mathrm{MSE}$ $\approx 8\times 10^{-3}$ between solver-generated and diffusion-generated snapshots. Bottom two rows correspond to $\mathrm{MSE}\approx 0.045$ .