[논문 리뷰] Non-Uniform Diffusion Models

Georgios Batzolis, Jan Stanczuk외 2명|arXiv (Cornell University)|2022. 07. 20.

Advanced Neuroimaging Techniques and Applications인용 수 4

한 줄 요약

이 논문은 다양한 영역에서 서로 다른 속도로 확산되는 비균일 확산 모델을 소개한다. 이 모델은 서로 다른 확률적 미분 방정식(SDE)을 통해 이미지의 각 영역에서 다른 속도로 확산되도록 하여 다중 척도 생성 모델링을 가능하게 한다. 제안된 방법은 균일한 확산 모델에 비해 128×128 해상도에서 4.4배 빠른 추론 속도를 달성하면서도 FID 점수를 향상시켰으며, 새로운 조건부 스코어 추정기(CMDE)를 도입하여 조건부 이미지 생성 과제에서 기존 방법들을 능가하는 성능을 보였다.

ABSTRACT

Diffusion models have emerged as one of the most promising frameworks for deep generative modeling. In this work, we explore the potential of non-uniform diffusion models. We show that non-uniform diffusion leads to multi-scale diffusion models which have similar structure to this of multi-scale normalizing flows. We experimentally find that in the same or less training time, the multi-scale diffusion model achieves better FID score than the standard uniform diffusion model. More importantly, it generates samples $4.4$ times faster in $128 imes 128$ resolution. The speed-up is expected to be higher in higher resolutions where more scales are used. Moreover, we show that non-uniform diffusion leads to a novel estimator for the conditional score function which achieves on par performance with the state-of-the-art conditional denoising estimator. Our theoretical and experimental findings are accompanied by an open source library MSDiff which can facilitate further research of non-uniform diffusion models.

연구 동기 및 목표

• 표준 확산 모델의 높은 추론 시간 문제, 특히 고해상도 이미지 생성에서의 문제를 해결하기 위해.
• 다른 이미지 영역이 서로 다른 속도로 확산되는 비균일 확산의 잠재력을 탐색하여 효율성과 성능 향상을 도모하기 위해.
• 기존의 조건부 노이즈 제거 및 확산 추정기들을 통합하고 개선하는 새로운 조건부 스코어 추정기인 CMDE를 개발하기 위해.
• 이전에는 공식적인 근거 없이 사용되어 온 조건부 노이즈 제거 추정기(CDE)에 대한 이론적 기반을 제공하기 위해.
• 초상수복원, 인painting, 에지에서 이미지로의 변환 과제를 포함한 세 가지 조건부 이미지 생성 과제에서 조건부 스코어 추정 방법을 경험적으로 평가하고 비교하기 위해.

제안 방법

• 논문은 이미지의 서로 다른 공간적 영역이 서로 다른 SDE를 통해 다른 속도로 확산되는 비균일 확산 프레임워크를 제안한다. 이는 다중 척도 확산 역학을 이끈다.
• 조건부 다중속도 확산 추정기(CMDE)를 도입하여 조건부 스코어 함수를 추정하는 새로운 추정기를 제안한다. 이 추정기는 조건부 노이즈 제거와 조건부 확산 추정을 상호 간섭시키는 방식이다.
• 조건부 관측값 y에 맞게 적응하는 학습 가능한 확산 속도 함수 σ^y(t)를 사용하여 영역별로 다른 확산 속도를 허용한다.
• 조건부 노이즈 제거 추정기(CDE)의 일관성에 대한 이론적 증명을 제공하여 실용적 사용의 타당성을 입증한다.
• 재현성과 향후 연구를 지원하기 위해 오픈소스 라이브러리인 MSDiff에 프레임워크를 구현한다.
• 초상수복원, 인painting, 에지에서 이미지로의 변환 과제 세 가지를 대상으로 FID, LPIPS, 다양성 지표를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 다른 이미지 영역이 서로 다른 속도로 확산되는 비균일 확산이 더 빠르고 정확한 생성 모델링을 가능하게 할 수 있는가?
• RQ2 제안된 CMDE 추정기는 기존의 조건부 스코어 추정기(CDE 및 CDiffE)에 비해 샘플 품질과 학습 안정성 측면에서 어떻게 비교되는가?
• RQ3 비균일 확산은 조건부 이미지 생성에서 최적화 과정과 사후 분포 근사에 기여하는가?
• RQ4 조건부 노이즈 제거 추정기(CDE)는 이론적으로 일관성이 있으며, 이를 공식적으로 증명할 수 있는가?
• RQ5 다중 척도 확산 프레임워크는 표준 균일 확산 모델에 비해 더 낮은 학습 시간과 훨씬 빠른 추론 속도로 더 낮은 FID 점수를 달성할 수 있는가?

주요 결과

• 다중 척도 확산 모델은 표준 균일 확산 모델 대비 128×128 해상도에서 추론 속도를 4.4배 빠르게 하며 샘플 품질에 손실가지 않는다.
• 더 적은 학습 시간 동안에도 다중 척도 모델은 균일 기준선보다 더 낮은 FID 점수를 달성하여 학습 효율성이 향상됨을 보였다.
• 인painting 및 초상수복원 과제에서 CMDE 추정기는 CDE 및 CDiffE 모두를 FID 점수 측면에서 능가하여 사후 분포 근사가 향상됨을 시사한다.
• 에지에서 이미지로의 변환 과제에서는 CDiffE가 일관된 샘플을 생성하지 못하는 반면, CMDE 및 CDE는 상당히 우수한 성능을 보이며, 특히 CMDE가 가장 낮은 FID 점수를 기록했다.
• 논문은 조건부 노이즈 제거 추정기(CDE)의 일관성에 대한 공식적인 증명을 제공하여 그 광범위한 사용에 대한 이론적 근거를 제시한다.
• 비균일 및 조건부 확산 모델 연구를 지원하기 위해 오픈소스 라이브러리인 MSDiff를 공개한다.