[論文レビュー] Wavelet Score-Based Generative Modeling

Florentin Guth, Simon Coste+2 more|arXiv (Cornell University)|Aug 9, 2022

Neural Networks and Applications被引用数 10

ひとこと要約

本稿では、スケール間の正規化されたウェーブレット係数の条件付き確率への分解を通じて、データ分布を要因分解することにより、スコアベース生成モデルの計算を高速化するWavelet Score-Based Generative Modeling (WSGM) を提案する。すべてのスケールで同じ時間離散化スケジュールを適用することにより、WSGMは画像サイズに比例する線形時間計算量を達成し、自然画像および相転移付近の物理的プロセスにおいても、高い品質の生成を維持しながら、顕著にサンプリングコストを削減する。

ABSTRACT

Score-based generative models (SGMs) synthesize new data samples from Gaussian white noise by running a time-reversed Stochastic Differential Equation (SDE) whose drift coefficient depends on some probabilistic score. The discretization of such SDEs typically requires a large number of time steps and hence a high computational cost. This is because of ill-conditioning properties of the score that we analyze mathematically. We show that SGMs can be considerably accelerated, by factorizing the data distribution into a product of conditional probabilities of wavelet coefficients across scales. The resulting Wavelet Score-based Generative Model (WSGM) synthesizes wavelet coefficients with the same number of time steps at all scales, and its time complexity therefore grows linearly with the image size. This is proved mathematically over Gaussian distributions, and shown numerically over physical processes at phase transition and natural image datasets.

研究の動機と目的

• スコアベース生成モデル(SGM)の高い計算コストに起因する、スコアの悪条件性のため、数千ステップを要する問題に対処すること。
• 自然画像および物理的プロセスに内在するマルチスケール構造を活用して、サンプリング効率を向上させること。
• 画像サイズに依存せず、すべてのスケールで均一な時間離散化スケジュールを実現する手法を開発すること。
• ウェーブレットベースの要因分解がサンプリングの複雑さを低減しつつ生成品質を保持することを数学的に証明し、数値的に検証すること。

提案手法

• データ分布を、スケール間の正規化されたウェーブレット係数の条件付き確率の積に要因分解する。
• 粗いスケールの係数を条件として、各スケールのウェーブレット係数に対して独立してスコアベース生成モデリングを適用する。
• すべてのスケールで均一な時間離散化スケジュール（例：Euler-Maruyama）を適用し、ピクセルあたりのステップ数を固定する。
• スケール間で一貫したスコア推定と安定した学習を実現するため、ウェーブレット係数を正規化する。
• 直交ウェーブレット変換を活用して、長距離および短距離相関構造を持つマルチスケール成分に画像を分解する。
• 時間依存のノイズスケジュールを用いたノイズ除去スコアマッチングにより、条件付きおよび非条件付きスコアネットワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレットベースのマルチスケール分解は、サンプル品質を損なわずに、スコアベース生成に必要なステップ数を削減できるか？
• RQ2 すべてのスケールに均一な離散化スケジュールを適用することで、画像サイズに比例する線形時間計算量が達成できるか？
• RQ3 ウェーブレット係数の正規化は、スコア関数の条件数およびサンプリング効率にどのように影響するか？
• RQ4 統計物理学における相転移付近の複雑な分布において、WSGMはどの程度生成を高速化できるか？
• RQ5 標準的なSGMと比較して、はるかに少ないサンプリングステップ数で、WSGMは最先端のFIDスコアを達成できるか？

主な発見

• WSGMは、画像サイズに比例する線形時間計算量を達成しており、解像度にかかわらずピクセルあたりのサンプリングステップ数が一定である。
• 標準的なSGMと比較して、画像サイズに比例する要因でサンプリングコストを削減できる。標準的なSGMは解像度の増加に伴い性能が著しく劣化する。
• CelebA-HQデータセットにおいて、WSGMはベースラインモデルと同等のFIDスコアを達成したが、はるかに少ないサンプリングステップ数で実現した。
• 相転移付近のφ⁴モデルにおいて、WSGMは各スケールでのスコア関数の条件数が改善されているため、収束が速く、サンプリング効率が向上した。
• 数学的解析により、ウェーブレット正規化がスコア関数のヘッセ行列を安定化させ、すべてのスケールで均一な離散化を可能にすることが証明された。
• 数値的結果により、WSGMは計算コストを著しく削減しながらも、特に大規模画像において高精細な生成を維持していることが確認された。