[論文レビュー] Score Matching Model for Unbounded Data Score

Dong‐Jun Kim, Seungjae Shin+3 more|arXiv (Cornell University)|Jun 10, 2021

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 10

ひとこと要約

本稿では、既存のノイズ条件付きスコアネットワークを変更することで、ゼロノイズにおけるスコア発散問題を解消する、新しいスコアベース生成モデルであるUnbounded Noise Conditional Score Network（UNCSN）を提案する。本稿では、解析的に取り扱いやすい対数尤度を有する新たなSDEとバランスの取れた損失関数を導入し、アーキテクチャの変更を要せず、より安定的かつ理論的に裏付けられたデータ分布のモデリングを可能にする。

ABSTRACT

Recent advance in score-based models incorporates the stochastic differential equation (SDE), which brings the state-of-the art performance on image generation tasks. This paper improves such score-based models by analyzing the model at the zero perturbation noise. In real datasets, the score function diverges as the perturbation noise ($\sigma$) decreases to zero, and this observation leads an argument that the score estimation fails at $\sigma=0$ with any neural network structure. Subsequently, we introduce Unbounded Noise Conditional Score Network (UNCSN) that resolves the score diverging problem with an easily applicable modification to any noise conditional score-based models. Additionally, we introduce a new type of SDE, so the exact log likelihood can be calculated from the newly suggested SDE. On top of that, the associated loss function mitigates the loss imbalance issue in a mini-batch, and we present a theoretic analysis on the proposed loss to uncover the behind mechanism of the data distribution modeling by the score-based models.

研究の動機と目的

• ノイズがゼロに近づくとスコア関数が発散するスコアベースモデルの失敗を解消すること。
• 消えるノイズの極限においてもスコア推定の安定性を維持する手法を開発すること。
• 正確な対数尤度計算が可能な新たな確率微分方程式（SDE）を導入すること。
• スコアベース学習におけるミニバッチ損失の不均衡を軽減する損失関数を設計すること。
• 提案されたフレームワーク下でのスコアベースモデルがデータ分布をどのようにモデリングするかの理論的分析を提供すること。

提案手法

• 既存のノイズ条件付きスコアネットワークを変更し、アーキテクチャの変更を要せず、ゼロノイズ極限を扱えるUnbounded Noise Conditional Score Network（UNCSN）を提案する。
• 従来のスコアベース生成モデルで用いられるSDEとは異なり、正確な対数尤度計算が可能な新たなSDEの定式化を導入する。
• ミニバッチ間での勾配のバランスを取ることで、スコアの分散に起因する訓練不安定性を低減する新たな損失関数を導出する。
• 新しいSDE下でのスコアベースモデルの理論的挙動を分析し、損失関数とデータ分布モデリングプロセスの関連を明確にする。
• 新しいSDEと損失関数を、最小限の変更で標準的なスコアベース生成モデリングパイプラインに適用する。

実験結果

リサーチクエスチョン

• RQ1 実際のデータ分布において、ノイズがゼロに近づくとスコア関数がなぜ発散するのか？
• RQ2 単純なアーキテクチャの修正により、スコアベースモデルがゼロノイズ極限でも安定的かつ正確に保てるか？
• RQ3 スコアベースモデルで正確な対数尤度計算が可能なSDEを構築することは可能か？
• RQ4 提案された損失関数は、ミニバッチ学習における勾配の不均衡をどのように低減するか？
• RQ5 新しいSDEフレームワーク下で、スコアベースモデルがデータ分布を学習する理論的メカニズムは何か？

主な発見

• 提案されたUNCSNは、ゼロノイズにおけるスコア発散を効果的に防止し、消えるノイズの極限においても安定したスコア推定を可能にする。
• 新たなSDEは、標準的なスコアベースSDEでは不可能な正確な対数尤度計算を可能にする。
• 提案された損失関数はミニバッチ間での勾配のバランスを取ることで、訓練の不安定性を低減し、最適化収束を改善する。
• 理論的分析により、新たな損失関数がスコアベースモデルの背後にあるデータ分布モデリングプロセスと整合していることが明らかになった。
• 本手法は従来のスコアベースモデルと互換性を保ち、ネットワークヘッドへの最小限の変更で実装可能である。