[논문 리뷰] Understanding Diffusion Objectives as the ELBO with Simple Data Augmentation

Diederik P. Kingma, Ruiqi Gao|arXiv (Cornell University)|2023. 03. 01.

Advanced Neuroimaging Techniques and Applications인용 수 12

한 줄 요약

이 논문은 인기 있는 확산 모델 목표가 노이즈 레벨에 걸친 가중 ELBO이며, 단조로운 가중치를 적용하면 ELBO에 간단한 가우시안 데이터 증강이 더해진 것과 동일하다는 것을 보여준다; 단조 가중치를 사용한 실험은 고해상도 ImageNet에서 최첨단 결과를 달성한다.

ABSTRACT

To achieve the highest perceptual quality, state-of-the-art diffusion models are optimized with objectives that typically look very different from the maximum likelihood and the Evidence Lower Bound (ELBO) objectives. In this work, we reveal that diffusion model objectives are actually closely related to the ELBO. Specifically, we show that all commonly used diffusion model objectives equate to a weighted integral of ELBOs over different noise levels, where the weighting depends on the specific objective used. Under the condition of monotonic weighting, the connection is even closer: the diffusion objective then equals the ELBO, combined with simple data augmentation, namely Gaussian noise perturbation. We show that this condition holds for a number of state-of-the-art diffusion models. In experiments, we explore new monotonic weightings and demonstrate their effectiveness, achieving state-of-the-art FID scores on the high-resolution ImageNet benchmark.

연구 동기 및 목표

• 확산 모델 목표가 왜 ELBO와 달라지는지에 대한 동기를 부여하고 통합적 해석을 모색한다.
• 일반적으로 사용되는 확산 손실이 데이터셋 노이즈 스케줄링과 함께 노이즈 레벨에 걸친 가중 ELBO임을 보여준다.
• 단조적 가중치가 이러한 손실을 Gaussian 데이터 증강과 함께 ELBO와 동등하게 만든다는 것을 보여준다.
• 최적화 효율을 향상시키기 위한 적응형 노이즈 스케줄링을 제안한다.
• 고해상도 ImageNet에서 실험을 통해 이론을 검증하고 경쟁력 있는 FID/IS 점수를 달성한다.

제안 방법

• 노이즈 레벨에 걸친 가중 손실로 확산 목표를 수식화하며 가중 함수 w(λ)를 도입한다.
• 단조로운 w(λ)일 때 손실이 가산적 가우시안 데이터 증강(DistAug)을 포함하는 ELBO와 같아짐을 보인다.
• 순방향 프로세스와 노이즈 스케줄을 훈련 손실에 대한 중요 샘플링 분포로 확립한다.
• L_w를 KL 발산의 적분과 연결하는 방정식을 도출하고 적분-부분 간소화를 보인다.
• 추정기 분산을 줄이고 최적화를 가속화하기 위한 적응형 노이즈 스케줄링을 도입한다.
• ImageNet에서 단조 가중치(예: sigmoidal, EDM-monotonic)와 표준 기준선 간의 실험적 평가를 수행한다.

(a) 512 $\times$ 512

실험 결과

연구 질문

• RQ1 확산 모델 목표를 노이즈 레벨에 걸친 가중 ELBO로 표현할 수 있는가?
• RQ2 가중 확산 목표가 ELBO와 데이터 증강과 일치하는 조건은 무엇인가?
• RQ3 단조 가중 함수가 샘플 품질 및 학습 효율을 개선하는가?
• RQ4 순방향 프로세스의 적응형 스케줄링이 최적화 성능을 높이는가?
• RQ5 제안된 단조 가중치가 고해상도 ImageNet 벤치마크에서 어떤 성능을 보이는가?

주요 결과

• 다양한 확산 목표는 특정 가중 함수와 함께 노이즈 레벨에 걸친 가중 손실의 특수한 경우이다.
• 가중치가 학습 시간에 대해 단조롭다면, 목표는 Gaussian 데이터 증강(DistAug)을 포함하는 ELBO와 같다.
• sigmoidal(-λ+2) 및 EDM-monotonic와 같은 단조 가중치가 기준선과 비교하여 ImageNet 64×64에서 FID와 IS를 향상시킨다.
• 적응형 노이즈 스케줄링은 추정기 분산을 줄이고 최적화를 가속화한다.
• 고해상도 ImageNet(128×128 이상)에서 제안된 단조 가중치는 경쟁력 있는 FID와 IS를 달성하고 가이던스 없이도 최첨단에 근접하다.

(b) 256 $\times$ 256