[論文レビュー] Understanding Diffusion Objectives as the ELBO with Simple Data Augmentation

Diederik P. Kingma, Ruiqi Gao|arXiv (Cornell University)|Mar 1, 2023

Advanced Neuroimaging Techniques and Applications被引用数 12

ひとこと要約

本論文は、人気の拡散モデルの目的がノイズレベルに対する重み付きELBOであり、単調な重み付けを用いるとELBOと簡易な Gaussian データ拡張を等価にすることを示す。単調な重み付けを用いた実験は、高解像度ImageNetで最先端と同等の結果を生んだ。

ABSTRACT

To achieve the highest perceptual quality, state-of-the-art diffusion models are optimized with objectives that typically look very different from the maximum likelihood and the Evidence Lower Bound (ELBO) objectives. In this work, we reveal that diffusion model objectives are actually closely related to the ELBO. Specifically, we show that all commonly used diffusion model objectives equate to a weighted integral of ELBOs over different noise levels, where the weighting depends on the specific objective used. Under the condition of monotonic weighting, the connection is even closer: the diffusion objective then equals the ELBO, combined with simple data augmentation, namely Gaussian noise perturbation. We show that this condition holds for a number of state-of-the-art diffusion models. In experiments, we explore new monotonic weightings and demonstrate their effectiveness, achieving state-of-the-art FID scores on the high-resolution ImageNet benchmark.

研究の動機と目的

• 拡散モデルの目的がなぜELBOから逸脱するのかを動機づけ、統一的な解釈を探る。
• 一般に用いられる拡散損失がノイズレベルに対して重み付けされたELBOであり、データセットノイズスケジューリングを伴うことを示す。
• 単調な重み付けによりこれらの損失がGaussianデータ拡張を伴うELBOと等価になることを示す。
• 最適化効率を改善するための適応的ノイズスケジューリングを提案。
• 高解像度ImageNetでの実験を通じて理論を検証し、競争力のFID/ISスコアを達成。

提案手法

• ノイズレベルに対して重み付け関数w(λ)を用いた重み付き損失として拡散目的を定式化。
• 関数w(λ)が単調である場合、損失は加法的なGaussianデータ拡張（DistAug）を伴うELBOと等しくなることを証明。
• 学習損失の重要度サンプリング分布としてフォワード過程とノイズスケジュールを確立。
• L_wをKL発散の積分と結びつける式を導出し、分部積分の簡約を示す。
• 推定量の分散を低減し最適化を高速化する適応的ノイズスケジュールを導入。
• ImageNetで、単調重み（例：シグモイド型、EDM-単調）と標準ベースラインを比較する経験的評価を実施。）

(a) 512 $\times$ 512

実験結果

リサーチクエスチョン

• RQ1 拡散モデルの目的はノイズレベルに対する重み付きELBOとして表現できるか？
• RQ2 重み付き拡散目的がELBOとデータ拡張を足したものと一致する条件は？
• RQ3 単調な重み付け関数はサンプル品質と学習効率を改善するか？
• RQ4 フォワード過程の適応的スケジューリングは最適化性能を改善するか？
• RQ5 提案された単調重みは高解像度ImageNetのベンチマークでどのように機能するか？

主な発見

• さまざまな拡散目的は、特定の重み付け関数を用いたノイズレベルの重み付き損失の特例である。
• 学習時間に対して単調であれば、目的関数はGaussianデータ拡張を伴うELBOと等しい。
• sigmoidal(-λ+2) および EDM-monotonic のような単調重み付けは、ベースラインと比べてImageNet 64×64のFIDとISを改善。
• 適応的ノイズスケジューリングは推定量の分散を減らし最適化を高速化。
• 高解像度ImageNet (128×128 以上) で提案された単調重みは競争力のFIDとISを達成し、ガイダンスなしで最先端に近づく。

(b) 256 $\times$ 256