[論文レビュー] Gradient Guidance for Diffusion Models: An Optimization Perspective

Yingqing Guo, Hui Yuan+3 more|arXiv (Cornell University)|Apr 23, 2024

Spacecraft Dynamics and Control被引用数 4

ひとこと要約

本稿では、勾配誘導を正則化された最適化問題として定式化することで、前方予測損失を通じて潜在的データ構造を保持する、拡散モデル向けの新規勾配誘導法を提案する。適応的微調整のもとでグローバル最適解への収束を示し、凹型の目的関数に対して$\mathcal{O}(1/K)$の収束速度を達成しつつ、サンプル品質を維持する。

ABSTRACT

Diffusion models have demonstrated empirical successes in various applications and can be adapted to task-specific needs via guidance. This paper studies a form of gradient guidance for adapting a pre-trained diffusion model towards optimizing user-specified objectives. We establish a mathematical framework for guided diffusion to systematically study its optimization theory and algorithmic design. Our theoretical analysis spots a strong link between guided diffusion models and optimization: gradient-guided diffusion models are essentially sampling solutions to a regularized optimization problem, where the regularization is imposed by the pre-training data. As for guidance design, directly bringing in the gradient of an external objective function as guidance would jeopardize the structure in generated samples. We investigate a modified form of gradient guidance based on a forward prediction loss, which leverages the information in pre-trained score functions and provably preserves the latent structure. We further consider an iteratively fine-tuned version of gradient-guided diffusion where guidance and score network are both updated with newly generated samples. This process mimics a first-order optimization iteration in expectation, for which we proved O(1/K) convergence rate to the global optimum when the objective function is concave. Our code will be released at https://github.com/yukang123/GGDMOptim.git.

研究の動機と目的

• 勾配誘導付き拡散モデルにおける理論的理解の不足、特に構造の保持と収束保証に関する課題を解決すること。
• ナチュラルな勾配誘導がサンプル品質を劣化させる問題を解消し、前方予測損失に基づく構造的誘導信号を導入すること。
• 誘導付き拡散を、目的関数の最大化と事前学習から得られるデータ分布の事前分布のバランスを取る最適化プロセスとして形式化すること。
• 自己生成サンプルを用いてスコアネットワークを繰り返し改善する適応的微調整メカニズムを開発すること。
• 凹型の目的関数を最適化する誘導付き拡散における収束速度と理論的保証を確立すること。

提案手法

• 前方予測損失に基づく勾配誘導信号を導入し、$\texttt{G}_{\text{loss}}(x_t,t) := \beta(t)\left(y - g^\top\mathbb{E}[x_0|x_t]\right)g$ として定義する。この信号は事前学習済みスコア関数を活用し、潜在的構造を維持する。
• 実際の応用では、Tweedieの公式に基づく先読み推定子$\hat{\mathbb{E}}[x_0|x_t]$を用いて条件付き期待値を近似する。
• アルゴリズム1：正則化された最適化問題を解く非適応的誘導サンプリングプロセスを提案。ここで事前学習済みスコア関数が事前分布として機能する。
• アルゴリズム2：生成されたサンプルにおける勾配を照会し、新規データを用いてスコアネットワークを更新する繰り返し微調整ループを提案。
• 各時刻で誘導信号を注入することで、スコアベースのサンプリングプロセスを実装し、拡散軌道を高目的領域へ誘導する。
• 理論的分析により、目的関数が凹型かつ微分可能である場合、アルゴリズム2が$\mathcal{O}(1/K)$の速度でグローバル最適解に収束することを示した。

実験結果

リサーチクエスチョン

• RQ1 ナチュラルな勾配誘導が実際にはなぜ失敗するのか。また、サンプル品質の劣化を引き起こす要因は何か。
• RQ2 事前学習済みデータの潜在的低次元構造をどのように保持できる勾配誘導を設計できるか。
• RQ3 適応的微調整のもとで、誘導付き拡散モデルが最適解への収束を理論的に保証できるか。
• RQ4 勾配誘導付き拡散と一次最適化法との関係は何か。
• RQ5 目的関数が凹型である場合、誘導付きサンプリングプロセスの収束速度は何か。

主な発見

• 前方予測損失（$\texttt{G}_{\text{loss}}$）に基づく提案手法は、実験でサポート外誤差が低くなることから、ナチュラルな勾配誘導に比べて潜在的部分空間構造を著しく良好に保持する。
• 非適応的誘導を用いるアルゴリズム1は、事前学習済みスコア関数の正則化効果により、理論的分析と整合的に部分最適解に収束する。
• 自己生成サンプルを用いて繰り返し微調整を行うアルゴリズム2は、凹型の目的関数に対してグローバル最適解に収束し、$\mathcal{O}(1/K)$の証明可能な収束速度を達成する。
• 実験では、微調整による分布シフトが生じても、$\texttt{G}_{\text{loss}}$はナチュラルな勾配誘導に比べて優れた構造的忠実性を維持する。
• アルゴリズム2が生成するサンプルの分布は、事前学習の等高線が示す元のデータ分布の外側に移動しており、高目的領域の有効な探索が行われていることが示唆される。
• 理論的枠組みにより、勾配誘導付き拡散が、事前学習済みスコア関数が構造的事前分布として機能する正則化最適化問題の解法と同等であることが確立された。