[論文レビュー] Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise

Arpit Bansal, Eitan Borgnia+7 more|arXiv (Cornell University)|Aug 19, 2022

Generative Adversarial Networks and Image Synthesis被引用数 105

ひとこと要約

本論文は、拡散に似た生成モデルを、任意の決定的な画像劣化（Gaussianノイズだけでなく）を対象として構築できることを示し、これらの劣化を反転させて高品質な画像生成と復元を実現する安定なサンプリング手法（Algorithm 2）を導入します。

ABSTRACT

Standard diffusion models involve an image transform -- adding Gaussian noise -- and an image restoration operator that inverts this degradation. We observe that the generative behavior of diffusion models is not strongly dependent on the choice of image degradation, and in fact an entire family of generative models can be constructed by varying this choice. Even when using completely deterministic degradations (e.g., blur, masking, and more), the training and test-time update rules that underlie diffusion models can be easily generalized to create generative models. The success of these fully deterministic models calls into question the community's understanding of diffusion models, which relies on noise in either gradient Langevin dynamics or variational inference, and paves the way for generalized diffusion models that invert arbitrary processes. Our code is available at https://github.com/arpitbansal297/Cold-Diffusion-Models

研究の動機と目的

• ガウスノイズを超える任意の劣化を対象とした一般化拡散モデルの構築を探る。
• これらの劣化を単純なl1損失を用いて復元ネットワークで反転させるよう訓練する。
• 決定論的な劣化から高品質な生成を得る堅牢なサンプリング手順を開発する。

提案手法

• x0 を xt に深刻度 t で変換する劣化演算子 D を定義し、xt から x0 を近似する復元ネットワーク R を定義する。
• l1損失を用いて E_x ||R(D(x,t),t) - x|| を最小化することで R を訓練する。
• 不完全な反転を相殺するためのサンプリングとして Algorithm 2 を提案し、x_{s-1} = x_s - D(R(x_s,s),s) + D(R(x_s,s),s-1) を保証する。
• 線形劣化のクラスに対して、R が完璧でなくても Algorithm 2 が x_s = D(x0,s) を復元することを証明する。
• MNIST、CIFAR-10、CelebA におけるブラー除去、インペインティング、超解像、スノーフィケーション、およびその他の変換に対する生成と反転を実証する。
• FID、SSIM、RMSE で評価する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルを、Gaussianノイズを超える任意の決定論的劣化に一般化できるか？
• RQ2 復元モデルが不完全な場合でも高品質な生成を可能にする安定なサンプリングアルゴリズムが存在するか？
• RQ3 デブラーリング、インペインティング、超解像、スノーなどの異なる決定論的変換は、再構成品質と分布的類似性にどのような影響を与えるか？
• RQ4 cold diffusion はブラーやマスキングのようなノイズ以外の劣化を用いた無条件生成をサポートできるか？

主な発見

• 復元と劣化をランダム性を使わず交互に行うことで、完全に決定論的な拡散フレームワークは写真実画のような画像を生成できる。
• Algorithm 2 は復元誤差に安定性を提供し、R が不完全でも線形劣化に対して D(x0,s) を復元できる。
• この枠組みで訓練されたデブラーリング、インペインティング、超解像モデルは、直接再構成よりも FID スコアが改善され、データ多様体へのより近い整合性を示している。
• スノーとブラーのタスクでは、サンプル再構成が分布的類似性（FID）指標で直接再構成を上回ることがあり、RMSEの増加やPSNRの低下を招くこともある。
• このアプローチはブラーを用いた生成へ拡張可能で、結果は高忠実度を示す一方で多様性は変動することが示唆され、animorphosis のような他の変換へ拡張することもできる。