Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Perception Prioritized Training of Diffusion Models

Jooyoung Choi, Jungbeom Lee|arXiv (Cornell University)|Apr 1, 2022
Generative Adversarial Networks and Image Synthesis被引用数 7
ひとこと要約

本論文では、モデルが知覚的に豊かな視覚的概念を学習するノイズレベルを優先する、シンプルでありながら効果的な拡散モデル学習の再重み付け方式であるPerception Prioritized (P2) 重み付けを提案する。中間ノイズレベル（画像の内容がまだ識別可能である）に対して高い損失重みを割り当てることで、データセット、アーキテクチャ、サンプリング戦略のすべてにおいて、サンプル品質が顕著に向上し、CelebA-HQおよびOxford-Flowersで最先端のFIDスコアを達成する。

ABSTRACT

Diffusion models learn to restore noisy data, which is corrupted with different levels of noise, by optimizing the weighted sum of the corresponding loss terms, i.e., denoising score matching loss. In this paper, we show that restoring data corrupted with certain noise levels offers a proper pretext task for the model to learn rich visual concepts. We propose to prioritize such noise levels over other levels during training, by redesigning the weighting scheme of the objective function. We show that our simple redesign of the weighting scheme significantly improves the performance of diffusion models regardless of the datasets, architectures, and sampling strategies.

研究の動機と目的

  • 拡散モデルが学習過程の異なるノイズレベルでどのように視覚的概念を学習するかを調査すること。
  • 拡散モデル学習における損失重み付けの体系的でない理解と最適化の欠如を是正すること。
  • アーキテクチャの変更や追加の学習ステップなしに、サンプル品質を向上させること。
  • 微細で知覚できない詳細のみを生成するノイズレベルではなく、知覚的に情報豊かなノイズレベルを優先する重み付け方式を設計すること。

提案手法

  • 本手法は、各ノイズレベルの知覚的重要性に基づき、ノイズ除去スコアマッチング損失を再重み付けし、画像の内容がまだ知覚的に認識可能な中間ノイズレベルに高い重みを割り当てる。
  • P2重み付け方式は、各ノイズレベルでモデルがどのような視覚的概念を学習するかを実証的分析に基づき導出され、高レベルで知覚的に豊かな特徴の学習を支援するレベルに高い重みが与えられる。
  • 重み関数は、中間ノイズレベルでピークを示し、極めて低いおよび極めて高いノイズレベルに向かって減少する区分線形または滑らかな関数として設計されている。
  • 本アプローチは、標準的な拡散学習およびサンプリングプロトコルと互換性があり、モデルアーキテクチャや推論ステップの変更を一切必要としない。
  • 一般化を検証するため、複数のデータセット（CelebA-HQ, FFHQ, Oxford-Flowers）、アーキテクチャ、サンプリングスケジュールで評価されている。
Figure 1 : Information removal of a diffusion process. (Left) Perceptual distance of corrupted images as a function of signal-to-noise ratio (SNR). Distances are measured between two noisy images either corrupted from the same image (blue) or different images (orange). We averaged distances measured
Figure 1 : Information removal of a diffusion process. (Left) Perceptual distance of corrupted images as a function of signal-to-noise ratio (SNR). Distances are measured between two noisy images either corrupted from the same image (blue) or different images (orange). We averaged distances measured

実験結果

リサーチクエスチョン

  • RQ1拡散プロセスにおけるどのノイズレベルが、知覚的に豊かな視覚的概念の学習に最も寄与するか？
  • RQ2ノイズレベルごとの損失重み付けの分布が、生成画像の品質にどのように影響するか？
  • RQ3単純で原理的である再重み付け方式は、アーキテクチャの変更なしにサンプル品質を向上させることができるか？
  • RQ4提案された重み付け方式は、異なるデータセット、モデルアーキテクチャ、サンプリング戦略に一般化可能か？

主な発見

  • P2重み付け方式は、CelebA-HQで最先端のFIDスコア8.92を達成し、従来手法を上回る。
  • Oxford-Flowersデータセットでは、新しいSOTAのFID10.12を達成し、ベースラインと比べて顕著に向上した。
  • FFHQでは、250ステップのサンプリングでFID10.88を達成し、ベースラインを上回り、GANベースのモデルと同等の性能を示した。
  • さまざまなサンプリングスケジュールにおいても改善が一貫しており、P2手法はたった60ステップでもベースラインを上回った。
  • モデルアーキテクチャやサンプリング戦略に関わらず、性能向上が見られ、広範な一般化性を示した。
  • アブレーションスタディにより、内容がまだ識別可能な中間ノイズレベルを優先することが、一様または標準的な重み付け損失方式よりも優れたサンプル品質をもたらすことが確認された。
Figure 2 : Stochastic reconstruction. (Left) Illustration of reconstruction, where sample are obtained from full sampling chain. (Right) Reconstructions $\hat{x}_{0}$ with input images $x_{0}$ on the rightmost column and SNR of $x_{t}$ on the bottom. Samples in the 1st, 2nd columns share only the co
Figure 2 : Stochastic reconstruction. (Left) Illustration of reconstruction, where sample are obtained from full sampling chain. (Right) Reconstructions $\hat{x}_{0}$ with input images $x_{0}$ on the rightmost column and SNR of $x_{t}$ on the bottom. Samples in the 1st, 2nd columns share only the co

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。