[논문 리뷰] Score-based Denoising Diffusion with Non-Isotropic Gaussian Noise Models

Vikram Voleti, Christopher Pal외 1명|arXiv (Cornell University)|2022. 10. 21.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 표준 등방성 가우시안 노이즈 대신 비등방성 다변량 가우시안 노이즈, 특히 가우시안 프리 필드(Gaussian Free Fields, GFFs)를 사용하여 스코어 기반 노이즈 제거 확산 모델의 일반화를 제안한다. 이는 상관관계가 있는 구조적 노이즈를 모델링하기 위함이다. 저자들은 새로운 설정 하에서 학습 및 추론의 수학적 기초를 유도하고, CIFAR-10에서 GFF 노이즈를 사용해 학습한 모델이 등방성 기준 모델과 비교해 유사한 샘플 품질을 보임을 경험적으로 입증함으로써, 확산 모델링에서 비등방성 노이즈의 타당성과 잠재력을 입증한다.

ABSTRACT

Generative models based on denoising diffusion techniques have led to an unprecedented increase in the quality and diversity of imagery that is now possible to create with neural generative models. However, most contemporary state-of-the-art methods are derived from a standard isotropic Gaussian formulation. In this work we examine the situation where non-isotropic Gaussian distributions are used. We present the key mathematical derivations for creating denoising diffusion models using an underlying non-isotropic Gaussian noise model. We also provide initial experiments with the CIFAR-10 dataset to help verify empirically that this more general modeling approach can also yield high-quality samples.

연구 동기 및 목표

• 등방성 가우시안 노이즈를 초월해 비등방성 다변량 가우시안 노이즈로 스코어 기반 노이즈 제거 확산 모델을 일반화하는 것.
• 특히 가우시안 프리 필드(Gaussian Free Fields, GFFs)를 포함한 비등방성 노이즈 하에서 학습 및 추론을 위한 이론적 프레임워크를 유도하는 것.
• 비등방성 노이즈 모델이 등방성 기준 모델과 비교해 고품질의 생성 결과를 낼 수 있음을 경험적으로 검증하는 것.
• 향상된 데이터 모델링을 위해 구조적이고 상관관계가 있는 노이즈 패턴을 가진 새로운 유형의 확산 모델을 가능하게 하는 것.

제안 방법

• 정규분포의 공분산 행렬 Σ를 사용하여 등방성 노이즈 대신 비등방성 다변량 가우시안 분포를 사용한 전방 노이징 과정을 유도한다.
• 비등방성 노이즈 하에서 베이즈 정리와 조건부 분포를 활용해 역방향 노이즈 제거 과정을 재구성하고, 평균과 분산을 적절히 조정한다.
• 스코어 매칭 목표함수를 수정하여, 비등방성 노이즈의 경우 공분산 구조에 따라 의존하는 스코어 분산의 역수로 손실를 가중한다.
• 비등방성 노이즈를 고려한 Σ⁻¹ 스케일링을 통해 수정된 스코어 추정 네트워크 출력을 도입하여 적절한 기울기 흐름을 보장한다.
• Gaussian Free Fields(GFFs)를 적용하여, 등방성 노이즈의 주파수 도메인 마스킹 또는 컨volution 필터링을 통해 부드럽고 상관관계가 있는 노이즈를 생성한다.
• 비등방성 노이즈 하에서 추정된 스코어와 진짜 스코어 간의 일致성을 유지하기 위해 추론 과정에서 조화 평균 기반 보정을 적용한다.

실험 결과

연구 질문

• RQ1 스코어 기반 노이즈 제거 확산 모델은 등방성에서 비등방성 가우시안 노이즈 분포로 성공적으로 일반화될 수 있는가?
• RQ2 비등방성 노이즈 하에서 전방 및 역방향 과정에 대한 올바른 수학적 표현은 무엇인가?
• RQ3 비등방성 노이즈 원천으로서의 가우시안 프리 필드(Gaussian Free Fields, GFFs) 사용이 이미지 생성에서 샘플 품질에 어떤 영향을 미치는가?
• RQ4 스코어 매칭 목표함수는 비등방성 노이즈 하에서 학습 안정성과 성능을 유지하기 위해 어떻게 적응시킬 수 있는가?
• RQ5 제안된 비등방성 확산 모델은 CIFAR-10과 같은 표준 벤치마크에서 등방성 기준 모델과 비교해 유사한 샘플 품질을 달성할 수 있는가?

주요 결과

• 비등방성 노이즈 제거 확산 모델을 위한 이론적 프레임워크가 성공적으로 유도되었으며, 표준 DDPM 및 SMLD 수식을 임의의 공분산을 가진 다변량 가우시안 노이즈로 일반화하였다.
• Gaussian Free Fields(GFFs)를 비등방성 노이즈 원천으로 사용함으로써 주파수 도메인 필터링 또는 컨volution 연산을 통해 더 부드럽고 상관관계가 있는 노이즈 패턴을 모델링할 수 있었다.
• CIFAR-10에서의 경험적 결과로 제안된 비등방성 확산 모델이 등방성 기준 모델과 유사한 고품질의 샘플을 생성함을 입증하여, 이 접근법의 타당성을 확인하였다.
• Σ⁻¹ 스케일링과 조화 평균 보정을 통합한 수정된 스코어 추정 네트워크는 비등방성 노이즈 하에서 정확한 스코어 추정과 안정적인 추론을 보장한다.
• 비등방성 노이즈 하에서 스코어 분산의 역수로 가중된 수정된 스코어 매칭 목표함수는 학습 수렴성과 성능을 유지한다.
• 이 프레임워크는 일반적이며 DDPM 및 SMLD 변형 모두에 적용 가능하며, 부록에서 두 경우에 대한 유도 과정이 제공된다.