[논문 리뷰] On Analyzing Generative and Denoising Capabilities of Diffusion-based Deep Generative Models

Kamil Rafał Deja, Anna Kuzina외 2명|arXiv (Cornell University)|2022. 05. 31.

Generative Adversarial Networks and Image Synthesis인용 수 9

한 줄 요약

이 논문은 디노이징 오토인코더(DAE)와 디퓨전 기반 생성기의 조합을 통해 노이즈 제거와 생성 기능을 명시적으로 분리하는 새로운 확산 기반 생성 모델 아키텍처인 DAED를 제안한다. DAE는 노이즈 제거에 집중하고 디퓨전 모델은 신호 생성에 집중함으로써 전이 가능성과 더 부드러운 복원을 향상시켜, CIFAR10, CIFAR100 및 CelebA에서 표준 DDGM보다 더 낮은 MAE(예: 0.065 vs. 0.085)와 더 높은 MS-SSIM(예: 0.97 vs. 0.95)을 기록하며 노이즈 제거 작업에서 뛰어난 성능을 보인다.

ABSTRACT

Diffusion-based Deep Generative Models (DDGMs) offer state-of-the-art performance in generative modeling. Their main strength comes from their unique setup in which a model (the backward diffusion process) is trained to reverse the forward diffusion process, which gradually adds noise to the input signal. Although DDGMs are well studied, it is still unclear how the small amount of noise is transformed during the backward diffusion process. Here, we focus on analyzing this problem to gain more insight into the behavior of DDGMs and their denoising and generative capabilities. We observe a fluid transition point that changes the functionality of the backward diffusion process from generating a (corrupted) image from noise to denoising the corrupted image to the final sample. Based on this observation, we postulate to divide a DDGM into two parts: a denoiser and a generator. The denoiser could be parameterized by a denoising auto-encoder, while the generator is a diffusion-based model with its own set of parameters. We experimentally validate our proposition, showing its pros and cons.

연구 동기 및 목표

• DDGM의 역방향 확산 과정에서 생성 기능에서 노이즈 제거 기능으로의 전이가 유연하게 일어나는지 조사하는 것.
• 노이즈 제거 기능과 생성 기능 간의 균형이 모델 성능에 미치는 영향을 이해하는 것.
• DDGM의 노이즈 제거 기능이 다른 데이터 분포로 일반화되는지 평가하는 것.
• 노이즈 제거와 생성 기능을 명시적으로 분리하여 성능 향상과 해석 가능성 향상을 달성하는 새로운 모델 아키텍처인 DAED를 제안하고 검증하는 것.

제안 방법

• 저자들은 전방 및 역방향 확산 단계에서의 노이즈 분포와 재구성 오차를 분석하여 생성 기능과 노이즈 제거 기능 간의 전이 지점을 식별한다.
• 저자들은 디노이징 오토인코더(DAE)가 노이즈 제거를 담당하고 별도의 확산 모델이 노이즈에서 신호를 생성하는 두 부분으로 구성된 DAED를 제안한다.
• DAE는 노이즈가 섞인 입력에서 깨끗한 이미지를 재구성하도록 훈련되며, 확산 모델은 순수한 노이즈에서 샘플을 생성하여 두 기능을 분리한다.
• 모델은 표준 VLB 손실을 사용해 훈련하고, CIFAR10, CIFAR100 및 CelebA 데이터셋에서 MAE와 MS-SSIM을 사용해 성능을 평가한다.
• 실험은 표준 VLB와 단순화된 목표 함수로 훈련된 DDGM과 DAED를 비교하며, 사전 훈련된 모델과 고정된 노이즈 수준(β₁ = 0.1)을 사용한다.
• 저자들은 일반화 능력을 평가하기 위해 이미지 복원과 데이터셋 간 전이성에 대한 정성적 및 정량적 분석을 수행한다.

실험 결과

연구 질문

• RQ1 역방향 확산 과정에서 생성 기능에서 노이즈 제거 기능으로의 전이가 부드럽게 일어나는가?
• RQ2 DDGM을 노이즈 제거기와 생성기로 분리할 경우 성능과 훈련 안정성에 어떤 영향을 미치는가?
• RQ3 DDGM의 노이즈 제거 기능이 이미지넷에서 셀프아에서와 같이 새로운 데이터 분포로 일반화되는가?
• RQ4 노이즈 제거와 생성 기능을 명시적으로 분리한 모델(DAED)이 복원 및 전이 작업에서 표준 DDGM을 능가할 수 있는가?

주요 결과

• DAED는 표준 DDGM보다 노이즈 제거 작업에서 더 낮은 평균 절대 오차(MAE)를 기록하여, CIFAR10에서 MAE 0.065를 달성했고, DDGM은 0.085였다.
• DAED는 더 높은 다중 척도 구조적 유사도(MS-SSIM) 스코어를 기록하여, CIFAR10에서 MS-SSIM 0.97을 달성했고, 표준 DDGM은 0.95였다.
• 이미지넷에서 훈련한 DAED를 셀프아로 전이할 경우, MAE 0.050과 MS-SSIM 0.98을 기록했고, DDGM은 MAE 0.077과 MS-SSIM 0.96을 기록했다.
• 정성적 결과에서는 DDGM이 노이즈 제거 과정에서 원본 분포의 잡음이나 세부 정보를 추가하는 경향이 있었지만, DAED는 더 매끄럽고 일관성 있는 복원을 보였다.
• DAED의 DAE 구성 요소는 새로운 데이터 분포로도 잘 일반화되어, 노이즈 제거 기능의 강력한 전이 가능성 잠재력을 시사한다.
• DAED는 표준 VLB 목표 함수를 사용해 훈련하면 성능 향상이 이루어지지만, 단순화된 목표 함수로 훈련할 경우 과도하게 매끄럽게 만들어지는 경향으로 인해 성능이 떨어진다.