[논문 리뷰] Conditional Image Generation with Score-Based Diffusion Models

Georgios Batzolis, Jan Stanczuk외 2명|arXiv (Cornell University)|2021. 11. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 8

한 줄 요약

이 논문은 점수 기반 확산 모델을 사용한 조건부 이미지 생성을 위한 다속도 확산 프레임워크를 제안하며, 기존 접근법을 통합하는 새로운 조건부 다속도 확산 추정기(CMDE)를 도입한다. 조건부 노이즈 제거 추정기의 이론적 근거를 제시하고, 초해상도, 이미지 보간, 에지에서 이미지로의 변환 작업에서 최신 기술 수준의 성능을 입증한다. 재현성과 향후 연구를 위해 오픈소스 라이브러리 MSDiff를 공개한다.

ABSTRACT

Score-based diffusion models have emerged as one of the most promising frameworks for deep generative modelling. In this work we conduct a systematic comparison and theoretical analysis of different approaches to learning conditional probability distributions with score-based diffusion models. In particular, we prove results which provide a theoretical justification for one of the most successful estimators of the conditional score. Moreover, we introduce a multi-speed diffusion framework, which leads to a new estimator for the conditional score, performing on par with previous state-of-the-art approaches. Our theoretical and experimental findings are accompanied by an open source library MSDiff which allows for application and further research of multi-speed diffusion models.

연구 동기 및 목표

• 조건부 이미지 생성을 위한 점수 기반 확산 모델을 체계적으로 비교하고 분석하는 것.
• 이전까지 증명되지 않았던 채택된 조건부 노이즈 제거 추정기의 이론적 근거를 제공하는 것.
• 새로운 통합된 추정기의 조건부 점수를 가능하게 하는 다속도 확산 프레임워크를 개발하는 것.
• 초해상도, 이미지 보간, 에지에서 이미지로의 변환과 같은 벤치마크 작업에서 제안된 방법을 평가하는 것.
• 향후 연구를 지원하기 위해 오픈소스 라이브러리 MSDiff를 공개하는 것.

제안 방법

• 이미지의 서로 다른 공간적 영역이 서로 다른 속도로 확산되도록 하는 다속도 확산 프레임워크를 제안하여 노이즈 주입에 대한 국소적 제어를 가능하게 한다.
• 조기화된 이미지와 조건의 조합 점수를 모델링함으로써 조건부 점수를 추정하는 조건부 다속도 확산 추정기(CMDE)를 도입한다.
• 연속 시간에서 점수 기반 및 확산 기반 생성 모델링을 통합하기 위해 확률적 미분 방정식(SDE) 설정을 사용한다.
• 조기화된 이미지와 조건의 연결된 입력을 취하는 공유 점수 모델을 사용하며, 공동 점수 추정을 처리하기 위해 수정된 아키텍처를 적용한다.
• 학습 안정화를 위해 이전 연구에서 사용된 표준 훈련 프rotocol과 함께 지수 이동 평균(EMA)을 적용한다.
• 공통된 아키텍처와 하이퍼파ram터를 사용하여 일관성 있게 여러 조건부 이미지 생성 작업에서 방법을 검증함으로써 공정한 비교를 확보한다.

실험 결과

연구 질문

• RQ1 점수 기반 확산 모델은 조건부 이미지 생성에 효과적으로 어떻게 적응할 수 있으며, 어떤 추정기가 최고의 성능을 낼 수 있는가?
• RQ2 실제로 사용되지만 공식적으로 검증되지 않은 조건부 노이즈 제거 추정기의 이론적 근거는 무엇인가?
• RQ3 공간적으로 적응 가능한 노이즈 스케줄링을 가능하게 함으로써 다속도 확산 프레임워크가 조건부 점수 추정을 향상시킬 수 있는가?
• RQ4 다양한 조건부 생성 작업에서 제안된 CMDE 추정기는 기존 방법과 비교해 이미지 품질과 가능도 추정 측면에서 어떻게 성능을 내는가?
• RQ5 다속도 확산의 실용적 영향은 조건부 이미지 생성에서 학습 효율성과 모델 표현력에 어떤 영향을 미치는가?

주요 결과

• 조건부 노이즈 제거 추정기는 약한 정규성 조건 하에서 조건부 점수의 일致 추정기로 이론적으로 정당화된다.
• 제안된 CMDE 추정기는 초해상도, 이미지 보간, 에지에서 이미지로의 변환 작업에서 최신 기술 수준의 방법들과 경쟁하는 성능을 달성한다.
• 다속도 확산 프레임워크는 공간적으로 변하는 노이즈 스케줄링을 允허함으로써 조건부 분포에 대한 더 유연하고 표현력 있는 모델링을 가능하게 한다.
• 실험 결과는 CMDE 추정기가 다양한 조건부 이미지 생성 벤치마크에서 잘 일반화되며, 이전 방법들을 능가하거나 동등하게 성능을 내는 것으로 나타났다.
• 오픈소스 라이브러리 MSDiff는 재현성과 조건부 및 다속도 확산 모델 분야의 향후 연구를 촉진한다.
• 이론적 분석은 노이즈 분산이 감소함에 따라 CMDE 추정기가 진짜 조건부 점수로 수렴함을 확인하였으며, 수렴 속도는 부드러움 가정에 따라 달라진다.