[論文レビュー] On the Importance of Noise Scheduling for Diffusion Models

Ting Chen|arXiv (Cornell University)|Jan 26, 2023

Advanced Neuroimaging Techniques and Applications被引用数 33

ひとこと要約

本論文は拡散モデルにおけるノイズスケジューリング戦略を実証的に分析し、固定スケジュールと入力スケーリングを組み合わせた単純な複合戦略を提案し、RINアーキテクチャと併用した場合に単一段階かつ高解像度のImageNet生成で最先端のピクセルベース性能を達成する。

ABSTRACT

We empirically study the effect of noise scheduling strategies for denoising diffusion generative models. There are three findings: (1) the noise scheduling is crucial for the performance, and the optimal one depends on the task (e.g., image sizes), (2) when increasing the image size, the optimal noise scheduling shifts towards a noisier one (due to increased redundancy in pixels), and (3) simply scaling the input data by a factor of $b$ while keeping the noise schedule function fixed (equivalent to shifting the logSNR by $\log b$) is a good strategy across image sizes. This simple recipe, when combined with recently proposed Recurrent Interface Network (RIN), yields state-of-the-art pixel-based diffusion models for high-resolution images on ImageNet, enabling single-stage, end-to-end generation of diverse and high-fidelity images at 1024$ imes$1024 resolution (without upsampling/cascades).

研究の動機と目的

• 異なるノイズスケジューリング戦略が画像解像度全体で拡散モデルの性能にどう影響するかを調査する。
• 画像サイズがノイズスケジュールの有効性にどのように影響するのか、理由と仕組みを理解する。
• タスクと解像度を問わず実用的な、単純で効果的な複合スケジューリング手法を開発する。
• 提案したスケジューリングを Recurrent Interface Network (RIN) と組み合わせると高品質で単一段階の高解像度画像生成が実現することを示す。

提案手法

• 連続時間ノイズスケジュール gamma(t) を用いた拡散モデルを構築し、cosine、sigmoid、linear の形を分析する。
• logSNR を間接的に調整する手段として入力スケーリング b を探索し、それが学習の安定性と性能に与える影響を調べる。
• 固定ノイズスケジュール（例: gamma(t)=1-t）を設定し、入力スケーリングを適用する単純な複合戦略を提案し、オプションとして分散正規化を併用する。
• 訓練時およびサンプリング時のデノイジングネットワークの前処理として x_t の分散正規化を用いる。
• FIDとInception Scoreを評価指標として、複数の解像度でクラス条件付きImageNetの訓練と評価を行う。
• 調整したハイパーパラメータと入力スケーリングを組み合わせた cosine または sigmoid スケジュールが、多くの設定で固定線形スケジュールより良い結果を生むことを示す。

実験結果

リサーチクエスチョン

• RQ1 ノイズスケジュール gamma(t) の選択が異なる画像解像度全体で拡散モデルの性能にどのように影響するか？
• RQ2 画像サイズを大きくすると、ピクセルの冗長性のためにノイズが多めのスケジュールへとシフトする必要がある？
• RQ3 固定ノイズスケジューリングと入力スケーリングの単純な組み合わせは解像度を超えて堅牢な性能を提供し得るか？
• RQ4 提案したスケジューリング戦略を Recurrent Interface Network (RIN) と組み合わせることが、高解像度のピクセルベースの拡散生成に与える影響はあるか？

主な発見

• ノイズスケジューリングは拡散モデルの性能にとって重要で、最適なスケジュールはタスクと画像サイズに依存する。
• 画像サイズが大きくなると、ピクセルの冗長性とピクセルごとのノイズの独立性のため、最適なスケジュールはよりノイジーな領域へ移る。
• スケジュールを固定したまま入力を因子 b でスケーリングすると、logSNR を効果的に調整し、解像度を超えて堅牢な改善をもたらす。
• 固定 gamma(t)（例: 1−t）と入力スケーリングを組み合わせた単純な複合戦略と RIN の組み合わせにより、ImageNet（1024×1024）でアップサンプリングやカスケードなしの最先端の単一段階・ピクセルベース高解像度画像生成を実現する。
• 複合戦略と RIN は、潜在拡散や分類子案内に依存せず、複数の解像度で複数のベースラインと比べて競争力のある、または優れたFIDとISスコアを達成する。
• 可視化は、スケーリングやハイパーパラメータ調整によって改善可能な微細なディテールがある一方で、解像度を超えて全体的な構造が保たれていることを示す。