[論文レビュー] On Maximum Likelihood Training of Score-Based Generative Models.

Conor Durkan, Yang Song|arXiv (Cornell University)|Jan 22, 2021

Generative Adversarial Networks and Image Synthesis参考文献 61被引用数 5

ひとこと要約

この論文は、連続的なスコアマッチング損失の混合に対する特定の混合重み付けスキームの下で、スコアベースの生成的モデリングが数学的に最尤推定と同等であることを確立している。主な貢献は、データ密度を明示的にパラメータ化する必要なく、スコア関数のみを用いて最尤推定と対数尤度の評価を可能にする、理論的根拠に基づいた重み付け手法の開発である。

ABSTRACT

Score-based generative modeling has recently emerged as a promising alternative to traditional likelihood-based or implicit approaches. Learning in score-based models involves first perturbing data with a continuous-time stochastic process, and then matching the time-dependent gradient of the logarithm of the noisy data density - or score function - using a continuous mixture of score matching losses. In this note, we show that such an objective is equivalent to maximum likelihood for certain choices of mixture weighting. This connection provides a principled way to weight the objective function, and justifies its use for comparing different score-based generative models. Taken together with previous work, our result reveals that both maximum likelihood training and test-time log-likelihood evaluation can be achieved through parameterization of the score function alone, without the need to explicitly parameterize a density function.

研究の動機と目的

• スコアベースの生成的モデリングと最尤推定の間の理論的関係を確立すること。
• 連続的なスコアマッチング損失の混合が最尤最適化を達成する条件を同定すること。
• 異なるスコアベースモデル間での有効な尤度比較を可能にする、理論的根拠に基づいたスコアマッチング目的関数の重み付け手法を提供すること。
• 訓練時およびテスト時の対数尤度評価が、明示的な密度パラメータ化を一切用いずにスコア関数のみを用いて実行可能であることを示すこと。

提案手法

• 論文は、時間に依存するスコアマッチング目的関数を時間上の連続的混合損失として分析する。
• 時間変数の特定の重み関数の下で、この混合目的関数と最尤推定の等価性を導出する。
• 解析は、フォッカー・プランク方程式とスコア関数がデータ密度の対数勾配と関係することを活用する。
• 最尤推定に最適な重み付けは、摂動過程の分散の時間微分によって決定されることを示す。
• スコア関数のみが、訓練目的関数およびテスト時の対数尤度の両方を計算するのに十分であることを示す。

実験結果

リサーチクエスチョン

• RQ1 連続的なスコアマッチング損失の混合が最尤推定と同等となる条件は何か？
• RQ2 最尤推定の同等性を保証するためのスコアマッチング目的関数の最適な重み付けスキームは何か？
• RQ3 推論時における対数尤度評価は、データ密度を明示的にパラメータ化せずに実行可能か？
• RQ4 スコア関数のパラメータ化は、最尤フレームワーク下での訓練および評価をどのように可能にするか？

主な発見

• 連続的なスコアマッチング損失の混合は、摂動の分散の時間微分に従って重み付けが選ばれる場合、最尤推定と同等である。
• この同等性は、異なるスコアベースモデル間での公平な比較を可能にする理論的根拠を提供する。
• スコア関数のみを用いて、訓練目的関数およびテスト時の対数尤度を計算可能であり、明示的な密度推定の必要性がなくなる。
• この結果により、スコアベースモデリングと最尤推定が統合され、スコア関数のパラメータ化によって尤度に基づく訓練と評価が実現可能であることが示された。