[論文レビュー] Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data

Minshuo Chen, Kaixuan Huang+2 more|arXiv (Cornell University)|Feb 14, 2023

Advanced Neuroimaging Techniques and Applications被引用数 8

ひとこと要約

この論文は、データが未知の低次元線形部分空間上に分布する場合の拡散モデルにおけるスコア近似、推定、および分布復元を分析し、次元依存のサンプル複雑度保証を備えたニューラルネットワークベースの手法を提供する。

ABSTRACT

Diffusion models achieve state-of-the-art performance in various generation tasks. However, their theoretical foundations fall far behind. This paper studies score approximation, estimation, and distribution recovery of diffusion models, when data are supported on an unknown low-dimensional linear subspace. Our result provides sample complexity bounds for distribution estimation using diffusion models. We show that with a properly chosen neural network architecture, the score function can be both accurately approximated and efficiently estimated. Furthermore, the generated distribution based on the estimated score function captures the data geometric structures and converges to a close vicinity of the data distribution. The convergence rate depends on the subspace dimension, indicating that diffusion models can circumvent the curse of data ambient dimensionality.

研究の動機と目的

• データが本質的に低次元構造を持つ場合の拡散モデルの理論的理解を動機づける。
• 低次元部分空間仮定の下でスコア関数をサポート上の成分と直交成分に分解する。
• スコア関数のニューラルネットアーキテクチャと近似保証を提供する。
• ambient次元性の呪いを回避しながらスコア推定と分布復元の統計的保証を確立する。

提案手法

• スキップ接続付きエンコーダ-デコーダスコアネットを提案し、L2ノルムでスコア関数を近似する（定理1）。
• 低次元線形部分空間モデルを用いてデータスコアをサポート上の成分と直交成分に分解する（補題1）。
• デノイズドスコアマッチングを用いて経験損失（式6）でニューラルスコア推定器を訓練する。
• 本質次元dに依存するスコア推定のサンプル複雑度界を導出する（定理2）。
• 離散化した後向き過程を模擬して分布復元を分析し、部分空間復元とTV/ W2誤差を座標化して境界づける（定理3）。
• 学習されたスコアがどのように後向き拡散を導きデータの幾何を回復するかを特徴づけ、ambient次元性の呪いを回避する。

Figure 1: Demonstration of score decomposition induces two backward processes.

実験結果

リサーチクエスチョン

• RQ1 データが低次元サブスペース上にある場合、ニューラルネットワークはスコア関数を正確に近似・学習できるか。
• RQ2 学習したスコア関数を用いて拡散モデルはデータ分布を推定できるのか、固有の幾何とサブスペース構造はサンプル複雑度にどう影響するか。
• RQ3 効果的なスコア近似を可能にするアーキテクチャと、推定および分布復元のサンプル複雑度はどれくらいか。
• RQ4 後向き拡散過程はデータの幾何とデータサブスペースをどのように捉え復元するか。

主な発見

• 低次元サブスペース仮定の下でスコア関数はサポート上の成分と直交成分に分解できる（補題1）。
• スキップ接続付きエンコーダ-デコーダスコアネットはL2保証を伴ってスコアを近似できる（定理1）。
• ニューラルスコア推定器は intrinsic dimension d に依存する速さで真のスコアに収束する（定理2）。
• 学習済みスコアによる分布推定はデータ分布の近傍へ収束する；サポート上方向はTV距離のサンプルサイズ依存速度を達成し、直交方向はサブスペースへ崩壊する（定理3）。
• 結果として、データが低次元サブスペース上にある場合、拡散モデルはambient次元性の呪いを回避できることが示される。

Figure 2: Network architecture of ${\mathcal{S}}_{\rm NN}$ .