[論文レビュー] On Analyzing Generative and Denoising Capabilities of Diffusion-based Deep Generative Models

Kamil Rafał Deja, Anna Kuzina+2 more|arXiv (Cornell University)|May 31, 2022

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

この論文は、Denoising Autoencoder (DAE) と拡散ベースの生成器を組み合わせることで、ノイズ除去と生成を明示的に分離する新しい拡散ベースの生成モデルアーキテクチャ、DAED を提案する。DAE はノイズ除去に専念し、拡散モデルは信号生成に専念することで、CIFAR10、CIFAR100、CelebA におけるノイズ除去タスクで、標準の DDGM よりも優れた転送性と滑らかな再構成を実現し、MAE が 0.065（DDGM では 0.085）の低さ、MS-SSIM が 0.97（DDGM では 0.95）の高さを達成する。

ABSTRACT

Diffusion-based Deep Generative Models (DDGMs) offer state-of-the-art performance in generative modeling. Their main strength comes from their unique setup in which a model (the backward diffusion process) is trained to reverse the forward diffusion process, which gradually adds noise to the input signal. Although DDGMs are well studied, it is still unclear how the small amount of noise is transformed during the backward diffusion process. Here, we focus on analyzing this problem to gain more insight into the behavior of DDGMs and their denoising and generative capabilities. We observe a fluid transition point that changes the functionality of the backward diffusion process from generating a (corrupted) image from noise to denoising the corrupted image to the final sample. Based on this observation, we postulate to divide a DDGM into two parts: a denoiser and a generator. The denoiser could be parameterized by a denoising auto-encoder, while the generator is a diffusion-based model with its own set of parameters. We experimentally validate our proposition, showing its pros and cons.

研究の動機と目的

• DDGM の逆方向拡散プロセスが、生成機能からノイズ除去機能へと滑らかに移行するかどうかを調査すること。
• ノイズ除去機能と生成機能のバランスがモデル性能に与える影響を理解すること。
• DDGM のノイズ除去部が他のデータ分布に一般化するかどうかを評価すること。
• 明示的にノイズ除去と生成を分離した新しいモデルアーキテクチャ、DAED の提案と検証を行うこと。

提案手法

• 著者らは、前向きおよび逆方向の拡散ステップにおけるノイズ分布と再構成誤差を分析し、生成的行動とノイズ除去的行動の間の滑らかな移行点を同定する。
• 彼らは、Denoising Autoencoder (DAE) がノイズ除去を担当し、別個の拡散モデルがノイズから信号を生成する二段階モデル、DAED を提案する。
• DAE はノイズ入り入力を元に綺麗な画像を再構成するように学習され、拡散モデルは純粋なノイズからサンプルを生成する。これにより、二つの機能が分離される。
• 訓練には標準の VLB 損失が使用され、性能評価には CIFAR10、CIFAR100、CelebA データセットにおける MAE と MS-SSIM が用いられる。
• 実験では、VLB と簡略化された目的関数で訓練された標準の DDGM と DAED を比較し、事前学習済みモデルと固定されたノイズレベル（β₁ = 0.1）を用いる。
• 一般化の評価として、画像再構成とデータセット間の転送性に関する定性的および定量的分析が実施される。

実験結果

リサーチクエスチョン

• RQ1 逆方向拡散プロセスに、生成からノイズ除去への機能的移行が滑らかに行われるか？
• RQ2 DDGM をノイズ除去部と生成部に分割することで、性能と訓練安定性にどのような影響を与えるか？
• RQ3 DDGM のノイズ除去部は、ImageNet から CelebA へのような未観測のデータ分布に一般化できるか？
• RQ4 明示的にノイズ除去と生成を分離したモデル（DAED）は、再構成および転送タスクで標準の DDGM を上回る性能を発揮できるか？

主な発見

• DAED は標準の DDGM よりもノイズ除去タスクで優れた性能を示し、CIFAR10 では MAE が 0.065 に低下する一方で、DDGM では 0.085 であった。
• DAED はより高いマルチスケール構造的類似性（MS-SSIM）スコアを達成し、CIFAR10 では 0.97 を記録した。これに対して標準の DDGM は 0.95 であった。
• ImageNet から CelebA への転送において、ImageNet で学習した DAED は MAE 0.050、MS-SSIM 0.98 を達成した。これに対して DDGM は MAE 0.077、MS-SSIM 0.96 を示した。
• 定性的な結果から、DDGM はノイズ除去時に元の分布からのアーチファクトや詳細を追加する傾向があるが、DAED は滑らかで一貫性のある再構成を生成することが分かった。
• DAED の DAE コンponent は未観測のデータ分布に対しても良好に一般化され、ノイズ除去機能の強力な転送性を示唆している。
• DAED は標準の VLB 目的関数で訓練することで性能が向上するが、簡略化された目的関数で学習すると過剰に滑らかになるため、性能が低下する傾向にある。