[論文レビュー] Score-based Diffusion Models in Function Space

Jae Hyun Lim, Nikola Kovachki+11 more|arXiv (Cornell University)|Feb 14, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、関数空間上で直接学習可能なスコアベース拡散モデルのための数学的に厳密なフレームワーク、すなわちノイズ除去拡散作用素（DDOs）を提案する。この手法により、連続的な関数データの生成モデリングが可能となる。前向きプロセスをガウス過程で定式化し、逆向きの生成プロセスを関数値をとるランジュバン力学で定義することで、解像度に依存しない生成が実現され、計算コストは固定される。Navier-Stokes解、InSARデータ、MNIST-SDFの各データ上で高精度なサンプリングが確認された。

ABSTRACT

Diffusion models have recently emerged as a powerful framework for generative modeling. They consist of a forward process that perturbs input data with Gaussian white noise and a reverse process that learns a score function to generate samples by denoising. Despite their tremendous success, they are mostly formulated on finite-dimensional spaces, e.g., Euclidean, limiting their applications to many domains where the data has a functional form, such as in scientific computing and 3D geometric data analysis. This work introduces a mathematically rigorous framework called Denoising Diffusion Operators (DDOs) for training diffusion models in function space. In DDOs, the forward process perturbs input functions gradually using a Gaussian process. The generative process is formulated by a function-valued annealed Langevin dynamic. Our approach requires an appropriate notion of the score for the perturbed data distribution, which we obtain by generalizing denoising score matching to function spaces that can be infinite-dimensional. We show that the corresponding discretized algorithm generates accurate samples at a fixed cost independent of the data resolution. We theoretically and numerically verify the applicability of our approach on a set of function-valued problems, including generating solutions to the Navier-Stokes equation viewed as the push-forward distribution of forcings from a Gaussian Random Field (GRF), as well as volcano InSAR and MNIST-SDF.

研究の動機と目的

• 既存の拡散モデルが有限次元空間でのみ動作することによる制限を解消し、PDEの解や3次元幾何データなどの関数データ分野への応用を制限する問題に対処する。
• 有限次元離散化や潜在空間ベースの近似に依存しない、無限次元関数空間におけるスコアベース拡散モデルの理論的裏付けを提供するフレームワークを構築する。
• 構造化ノイズと新しい関数空間スコアマッチング手法を導入することで、計算コストに依存しない効率的で解像度に依存しないサンプリングを実現する。

提案手法

• 入力関数をガウス過程を用いて摂動する前向き拡散プロセスを定式化し、白色ノイズに代えて空間的に相関を持つ構造化ノイズを導入することで、あらゆる解像度で安定性を確保する。
• 逆向きの生成プロセスを関数値をとるランジュバン力学として定義し、関数空間内での反復的ノイズ除去を可能にする。
• 無限次元ヒルベルト空間へのノイズ除去スコアマッチングの一般化を行い、特異測度を回避する損失関数を導出することで、安定な学習を可能にする。
• スペクトル畳み込みとフーリエ空間正規化を組み合わせた修正されたUNetアーキテクチャを用い、解像度不変性を尊重するニューラル作用素を構築する。
• フーリエ変換を用いた畳み込み構造によるガウス測度の構築により、格子構造を持つデータに対して前向きプロセスからの効率的なサンプリングを実現する。
• 訓練の安定化と関数空間拡散におけるサンプル品質の向上を図るため、コサインノイズスケジュールとサインブラーのスケジュールを適用する。

Figure 1 : Overview of our approach . While in the finite-dimensional case, inputs are discretized, we work directly in function space, on continuous inputs, here 1D functions on $\mathbb{{R}}$ . Noise is first added to the training samples during the forward process. A Neural Operator is used to es

実験結果

リサーチクエスチョン

• RQ1 有限次元離散化や潜在空間写像に依存せずに、スコアベース拡散モデルを無限次元関数空間へ厳密に拡張することは可能か？
• RQ2 関数空間上の確率測度に対して、安定的かつ解像度に依存しないスコアマッチングの目的関数をどのように導出できるか？
• RQ3 解像度が向上してもモデル容量を増加させることなく、関数空間内での学習を効率的に行うためにどのようなノイズ構造が必要か？
• RQ4 異なる関数データタイプにおいて、提案手法が既存の手法と比較してサンプル品質や一般化性能に優れているか？
• RQ5 本フレームワークは、PDEの解や符号付き距離関数のような複雑な関数データの高精度なサンプリングを可能にするか？

主な発見

• 提案されたDDOフレームワークは、解像度に依存しない生成を達成しており、推論コストがデータの解像度に依存しない。これにより、連続関数上でのスケーラブルなサンプリングが可能となる。
• ガウス確率場の励起力からの入力に対して、Navier-Stokes解の高精度な再構成が可能であり、複雑な流体力学的挙動の正確な回復が確認された。
• ボキャノInSARデータセットにおいて、DDOsは空間的細部に富んだ現実的で高精度な干渉縞を生成し、離散化依存型のベースラインを上回った。
• MNIST-SDFにおいては、鋭く、多様性に富み、構造的に正確な手書き数字の符号付き距離関数表現が生成された。
• 畳み込み構造によるガウス測度を用いた構造化ノイズの導入により、従来の無限次元拡散モデルで見られた無限大の損失問題を回避し、安定した学習が実現された。
• UNetベースのアーキテクチャにおけるスペクトル畳み込みとフーリエ空間正規化により、解像度不変性が保たれ、さまざまな入力グリッド間での一般化性能が向上した。

(a)