[論文レビュー] GenPhys: From Physical Processes to Generative Models

Ziming Liu, Di Luo+3 more|arXiv (Cornell University)|Apr 5, 2023

Computational Physics and Python Applications被引用数 5

ひとこと要約

この論文は、物理的プロセスによって記述される滑らかで生成的である偏微分方程式（PDE）を、新しい生成モデルに変換する統一的フレームワーク、GenPhysを紹介する。滑らかさと密度の流れを示す「s生成的PDEs」として知られるPDEを同定することで、拡散モデルやポアソン流れモデルを一般化し、弱い核力に由来するような新しい生成的モデル族、例えばヤクビ生成モデルを発見し、物理的インスピレーションを受ける生成的モデリングの設計空間を拡張する。

ABSTRACT

Since diffusion models (DM) and the more recent Poisson flow generative models (PFGM) are inspired by physical processes, it is reasonable to ask: Can physical processes offer additional new generative models? We show that the answer is yes. We introduce a general family, Generative Models from Physical Processes (GenPhys), where we translate partial differential equations (PDEs) describing physical processes to generative models. We show that generative models can be constructed from s-generative PDEs (s for smooth). GenPhys subsume the two existing generative models (DM and PFGM) and even give rise to new families of generative models, e.g., "Yukawa Generative Models" inspired from weak interactions. On the other hand, some physical processes by default do not belong to the GenPhys family, e.g., the wave equation and the Schrödinger equation, but could be made into the GenPhys family with some modifications. Our goal with GenPhys is to explore and expand the design space of generative models.

研究の動機と目的

• PDEによって記述される物理的プロセスから生成的モデルを体系的に導出するためのフレームワークを確立すること。
• 滑らかさと密度の流れのダイナミクスを通じて有効な生成的モデルを生成できる、広範なPDEのクラス（「s生成的」として指定）を同定すること。
• 拡散モデルやポアソン流れモデルといった既存の生成的モデルを、一つの理論的枠組みに統合すること。
• 弱い核力のような物理的相互作用に由来するような、ヤクビ生成的モデルのような新しい生成的モデル族を発見すること。
• 現在のs生成的制約を超えて、滑らかでない、非線形のPDEの理論的・実用的潜在的価値を探索すること。

提案手法

• s生成的PDEsを、次の2条件を満たすPDEとして定義する：(C1) 密度の流れを記述すること、(C2) 高周波モードの速い減衰により、時間の経過とともに滑らかになること。
• 分散関係を用いて、PDEが滑らかさ条件（C2）を満たすかどうかを厳密に評価し、PDEをs生成的、条件付きs生成的、非s生成的の3つに分類可能とする。
• 物理的PDE（例：拡散方程式、ポアソン方程式、ヤクビ方程式）を、GenPhysフレームワークを介して対応する生成的モデルにマッピングし、s生成的基準を満たしていることを保証する。
• 生成プロセスを、単純な初期分布（例：ガウス分布）からデータ分布へとPDEの流れに従って連続的に時間発展させる形で定式化する。
• 既知のモデルにこのフレームワークを適用する：拡散モデルは熱方程式に対応し、ポアソン流れモデルはポアソン方程式に対応し、新しいモデルはヤクビ方程式に対応する。
• 線形で時間に依存しない対称PDEに焦点を当てたコア解析とは対照的に、非線形、時間に依存する、非対称なPDEへの拡張を今後の方向性として提案する。

Figure 1: Duality between physics and generative models. So far only diffusion models and Poisson flow models are discovered in the literature. Can we unlock more?

実験結果

リサーチクエスチョン

• RQ1 PDEによって記述される物理的プロセスを、体系的かつ生成的モデルに変換できるか？
• RQ2 PDEにどのような数学的条件が満たされていれば、滑らかさと密度の流れのダイナミクスを通じて有効な生成的モデルを生成できるか？
• RQ3 拡散モデルやポアソン流れモデルといった既存の生成的モデルは、物理的プロセスに基づく生成的モデリングのより広範な枠組み内での特殊ケースとして現れるか？
• RQ4 既知の拡散型やポアソン型とは異なる、物理的PDEから新たな生成的モデル族を導出できるか？
• RQ5 現在のフレームワークの限界、特に滑らかでない、非線形、または時間に依存するPDEに関しては何か？

主な発見

• フレームワークは、拡散モデルとポアソン流れ生成的モデルを、GenPhysの特殊ケースとして成功裏に統合し、拡散方程式とポアソン方程式がs生成的PDEであることを示した。
• 論文は、弱い核力に由来するヤクビ（遮蔽されたポアソン）方程式から導出される「ヤクビ生成的モデル」という、生成的モデルの新しい族を導入した。
• 分散関係を用いて「s生成的PDEs」の概念を形式化し、生成的モデリングに適した滑らかさの流れを生成するかどうかを厳密に判定する基準を提供した。
• 波動方程式やシュレーディンガー方程式は、元来s生成的ではないが、変更を加えることでs生成的にできるため、将来的な拡張の可能性を示唆している。
• 物理と生成的モデリングの二重性は偶然ではなく、滑らかさのある密度の流れを記述するPDEの構造に数学的に根ざしていることがフレームワークによって明らかになった。
• 非線形PDE（例：ナビエ＝ストークス方程式）、時間に依存するPDE、非対称PDEといった、著しく未開拓の機会が同定され、現在のs生成的範囲を超える新しい生成的モデル族の創出が可能であると示唆された。