[論文レビュー] Bilateral Denoising Diffusion Models

Max W. Y. Lam, Jun Wang+3 more|arXiv (Cornell University)|Aug 26, 2021

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 11

ひとこと要約

本稿では、推論中にノイズスケジュールを最適化するため、スコアネットワークとスケジューリングネットワークを同時に学習する、二重ノイズ除去拡散モデル（BDDMs）を提案する。この手法により、たった3ステップで高精細な画像生成が可能となり、標準的なDDPMと比較して62倍の高速化を達成する。BDDMsは、対数尤度のよりタイトな下界を導出し、両ネットワークをエンドツーエンドで訓練することで、品質を損なわず採用効率を著しく向上させる。

ABSTRACT

Denoising diffusion probabilistic models (DDPMs) have emerged as competitive generative models yet brought challenges to efficient sampling. In this paper, we propose novel bilateral denoising diffusion models (BDDMs), which take significantly fewer steps to generate high-quality samples. From a bilateral modeling objective, BDDMs parameterize the forward and reverse processes with a score network and a scheduling network, respectively. We show that a new lower bound tighter than the standard evidence lower bound can be derived as a surrogate objective for training the two networks. In particular, BDDMs are efficient, simple-to-train, and capable of further improving any pre-trained DDPM by optimizing the inference noise schedules. Our experiments demonstrated that BDDMs can generate high-fidelity samples with as few as 3 sampling steps and produce comparable or even higher quality samples than DDPMs using 1000 steps with only 16 sampling steps (a 62x speedup).

研究の動機と目的

• 高品質な出力が得られるために数千ステップの推論ステップを必要とする、ノイズ除去拡散モデルの高い計算コストを低減すること。
• 固定または手動で設定されたスケジュールに依存せず、エンドツーエンドでノイズスケジュールを学習することで、推論効率を向上させること。
• 標準的なELBOよりもタイトな対数尤度の下界を導出し、スコアネットワークとスケジューリングネットワークのより良い訓練を可能にすること。
• 任意の事前学習済みDDPMに適用可能な、シンプルで効率的な訓練手順を設計すること。
• 学習されたノイズスケジュールが、固定またはグリッドサーチによるスケジュールよりも品質と安定性の面で顕著に優れていることを示すこと。

提案手法

• BDDMsは、スケジューリングネットワークσφを用いて、時間に依存するノイズ分散βtを学習することで、前方プロセスをパrameter化し、固定スケジュールを置き換える。
• 逆方向プロセスは、標準的なDDPMと同様に、各ステップにおけるノイズを予測するスコアネットワークεθでモデル化される。
• 対数周辺尤度のよりタイトな下界が導出され、この下界はθとφに依存しており、各ステップの最適化を効率的に行える。
• θのための訓練目的関数は、妥当な条件下で標準的なDDPMの損失に帰着することが示され、既存の訓練と互換性を持つことが保証される。
• σφのための目的関数は、θが最適化された際に下界をタイトにする関数として導出され、スコアとスケジューリングネットワークの共同学習を可能にする。
• 事前学習済みDDPMのスケジューリングネットワークのみを最適化することで、追加コストを最小限に抑えて効率的なファインチューニングが可能となる。

実験結果

リサーチクエスチョン

• RQ1 訓練中にノイズスケジュールを学習することで、高精細な生成に必要な推論ステップ数を著しく削減できるか？
• RQ2 スコアネットワークとスケジューリングネットワークを共同最適化する際、対数尤度のよりタイトな下界が、より優れた生成性能をもたらすか？
• RQ3 BDDMsの性能は、標準的なDDPM、DDIM、およびNEベースの手法と比較して、推論速度と品質の面でどのように異なるか？
• RQ4 ステップインデックスの事前知識なしに、スケジューリングネットワークが効果的で非一様なノイズスケジュールを学習できるか？
• RQ5 本手法は、特に少ないステップ数での推論において、さまざまな推論ステップ数に対してスケーラブルで安定しているか？

主な発見

• BDDMsは、たった3ステップの推論で、1000ステップを要する標準的なDDPMと同等の品質の高精細なサンプルを生成する。
• 16ステップの推論で、BDDMsは1000ステップを要するDDPMと同等またはそれ以上の品質のサンプルを生成し、62倍の高速化を達成する。
• BDDMsの性能は、8、16、21ステップのすべてで安定しており、NEベースの手法は8ステップを超えると著しく劣化する。
• BDDM-21における学習済みノイズスケジュールには、ノイズスケールが0.01を超えた後に顕著な転換点が観察され、適応的スケジューリングが性能向上に寄与していることが示唆される。
• βtを直接パラメータとして学習する（スケジューリングネットワークなし）と、性能が劣り、メモリ制約のため大規模なステップ数では実行不可能になる。
• スケジューリングネットワークに負のELBOを損失関数として用いると、劣化が生じ、ネットワークは常に1の定数スケジュールを予測してしまう。