[論文レビュー] Spontaneous Symmetry Breaking in Generative Diffusion Models

Gabriel Raya, Luca Ambrogioni|arXiv (Cornell University)|May 31, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、生成拡散モデルが、初期のダイナミクスが中心固定点に安定化した後、データ多様体のサンプルへ向かう吸引子ダイナミクスに移行する、自発的対称性の破れを示すことを明らかにしている。提案されたガウス後段開始（gls）法では、不安定性閾値付近のガウス分布で後段から初期化することで、モデルアーキテクチャを変更せずに、FIDスコアを最大3倍まで低減し、特に高速サンプラーにおいて、品質と多様性の両方を向上させた。

ABSTRACT

Generative diffusion models have recently emerged as a leading approach for generating high-dimensional data. In this paper, we show that the dynamics of these models exhibit a spontaneous symmetry breaking that divides the generative dynamics into two distinct phases: 1) A linear steady-state dynamics around a central fixed-point and 2) an attractor dynamics directed towards the data manifold. These two "phases" are separated by the change in stability of the central fixed-point, with the resulting window of instability being responsible for the diversity of the generated samples. Using both theoretical and empirical evidence, we show that an accurate simulation of the early dynamics does not significantly contribute to the final generation, since early fluctuations are reverted to the central fixed point. To leverage this insight, we propose a Gaussian late initialization scheme, which significantly improves model performance, achieving up to 3x FID improvements on fast samplers, while also increasing sample diversity (e.g., racial composition of generated CelebA images). Our work offers a new way to understand the generative dynamics of diffusion models that has the potential to bring about higher performance and less biased fast-samplers.

研究の動機と目的

• 実験的性能を超えた、生成拡散モデルを支配する力学的メカニズムを理解すること。
• 物理学で知られる自発的対称性の破れが、拡散モデルのダイナミクスに現れるかどうかを調査すること。
• 初期段階のフラクチュエーションが最終的なサンプル品質に与える役割を特定すること。
• 対称性の破れを活用した、より優れたサンプルの多様性とFIDスコアを実現する新しい初期化スキームを開発すること。
• 初期のダイナミクスが最終生成に有意に寄与しないことの証明を通じて、より高速で高品質なサンプリングを可能にすること。

提案手法

• 著者たちは、拡散モデルの確率的微分方程式（SDE）ダイナミクスを分析し、中心固定点と臨界不安定性閾値を特定した。
• SDEのドリフト項と拡散項を用いて、不安定性が引き起こす対称性の破れを解析的に導出。
• サンプリングをt=0ではなく、不安定性閾値付近の時間sstartから開始する、新たな初期化スキーム「ガウス後段開始（gls）」を提案。
• gls法では、sstartで中心をもつガウス分布を用い、初期のフラクチュエーションが固定点に戻されるのを回避する。
• 複数のデータセット（CelebA、CIFAR-10、ImageNet64、MNIST）と高速サンプラー（DDIM、DDPM）を用い、異なるノイズ除去ステップ数で検証を実施。
• 性能向上の評価には、FIDスコアと多様性指標（例：人種、性別、年齢分布）を用いた。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルの生成ダイナミクスは、物理系に類似した自発的対称性の破れを示すか？
• RQ2 初期段階のフラクチュエーションは、最終的なサンプル品質にどのような役割を果たすか？
• RQ3 不安定性閾値付近で逆過程の後段から初期化することで、高速サンプリングの性能を向上させられるか？
• RQ4 後段初期化は、特に人種的・属性的構成の観点から、サンプルの多様性にどのように影響を与えるか？
• RQ5 中心固定点が不安定化する臨界時刻を理論的に特定できるか？

主な発見

• 拡散モデルの生成ダイナミクスは、対称的で固定点に安定した状態から、データ多様体のサンプルへ向かう吸引子状態に移行する、自発的対称性の破れを経験する。
• 初期のフラクチュエーションは力学的に中心固定点に戻されるため、最終的なサンプルの多様性や品質に寄与しない。
• ガウス後段開始（gls）初期化により、高速サンプラーでFIDが最大3倍まで低減され、CelebA64で5ステップのノイズ除去においてFIDが44.61から5.24に低下した。
• MNISTでは、gls-DDIMでsstart=400とした場合、5ステップでFIDが6.95に低下したのに対し、標準的なDDPM（sstart=800）では13.25にとどまった。
• gls法によりサンプルの多様性が向上し、CelebA64のサンプルでは人種と性別の構成がよりバランスの取れた分布を示した。
• 中心固定点の不安定性閾値は理論的に導出され、複数のデータセットとアーキテクチャで実証的に検証された。