[論文レビュー] Physics-Informed Video Diffusion For Shallow Water Equations

Yang Bai, George Eskandar+2 more|arXiv (Cornell University)|Feb 24, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

この論文は、物理情報を組み込んだ動画拡散フレームワークを提案し、別個のレンダリングステップなしで水の動画フレームと対応する浅水方程式（SWE）状態を同時に生成し、インフェレンスを高速化し物理的一貫性を確保する。

ABSTRACT

Traditional fluid dynamics simulation pipelines combine numerical solvers with rendering, producing highly realistic results but at considerable computational cost. Diffusion-based generative video models offer a faster alternative, yet often ignore physical laws and thus fail to capture consistent dynamics. We propose a physics-informed video diffusion framework that jointly generates visual outputs and physical states. Unlike prior two-stage approaches that first simulate the physical variables and then render, we directly integrate physics constraints into the generative process, enabling simultaneous prediction of physical states and realistic videos without a separate rendering step. Built on the two-dimensional shallow water equations with terrain topography, our method produces temporally coherent water flow while maintaining physical plausibility. Experiments show that it outperforms purely data-driven video diffusion baselines in both realism and physical fidelity, while generating videos significantly faster than traditional simulation-plus-rendering pipelines.

研究の動機と目的

• 流体ダイナミクスの可視化を Diffusion ベースの動画生成と格子ベースの SWE を組み合わせて、より高速で物理的に一貫した表示を実現する。
• 初期条件と地形を拡散モデルに埋め込み、動画フレームと物理状態を同時に予測する。
• 従来のシミュレーション＋レンダリングよりも実行時間を大幅に短縮しつつ、シミュレーション精度の大半を保持する。
• 出力の時間的一貫性と物理的解釈性を維持するフレームワークを提供する。

提案手法

• マルチモーダルな画像条件付き潜在拡散モデルを定式化し、動画フレームと SWE 状態の両方を出力する。
• 初期 SWE 条件と地形を、動画と同じ潜在解像度の物理埋め込み層に埋め込み、動画潜在と物理潜在に独立に拡散を適用する。
• 物理と境界条件の埋め込みを動画潜在とプロンプト埋め込みと結合し、Diffusion Transformer による時空のデノイズを実現する。
• デノイズ済み表現を動画潜在と物理潜在へ結合するための別個の投影ヘッドを用い、共同生成を実現する。
• 動画再構成と物理状態再構成を組み合わせた共同損失でトレーニングし、物理的一貫性を強制する。
• 物理は有限体積離散化を用いた 2D 浅水方程式に基づき、 Roe フラックと TVD Runge–Kutta による時間進行を用い、地形は床勾配源項として組み込む。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースの動画モデルは、 SWE と地形に guided されて、物理的に妥当な水のダイナミクスを生成できるか。
• RQ2 動画と物理状態の共同生成は、純粋にデータ駆動のベースラインと比べて物理忠実性と時間的一貫性を改善するか。
• RQ3 従来のシミュレーション＋レンダリングのパイプラインと比較して、忠実度を維持しつつ実行時間の改善はどの程度可能か。
• RQ4 どの物理埋め込み戦略（線形補間、CNN ベース、MLP ベース）が SWE 条件下で動画品質を最もよく保持するか。

主な発見

Table 1: Method	LPIPS ↓	SSIM ↑	PSNR ↑	FVD ↓
CogVideoX-Fun	0.2262	0.7994	18.63	189.53
CogVideoX (I2V)-LoRA	0.2241	0.8036	18.89	178.37
Naive without Physics	0.2411	0.7862	18.28	192.64
LI. with Physics	0.1588	0.8355	22.19	137.20
MLP with Physics	0.1366	0.8423	24.91	128.69
CNN with Physics	0.1341	0.8519	25.86	125.13

• 物理情報付きモデルは、視覚的リアリズム指標（LPIPS、SSIM、PSNR、FVD）において純粋にデータ駆動の動画拡散ベースラインよりも優れている。
• CNN ベースの物理埋め込みが、アブレーション（LI、MLP、CNN）のうち最も動画品質をもたらす。
• 推論時間は格子解像度に対してほぼ一定で、古典的パイプラインは高解像度で時間が増大する。
• このアプローチは古典的パイプラインと比較して桁違いのスピードアップを実現しつつ、シミュレーション精度の 67%–90% を保持する。
• 共生成された動画と SWE 状態は、ベースラインと比べて時間的な安定性と物理的妥当性が向上する。