[논문 리뷰] Let us Build Bridges: Understanding and Extending Diffusion Generative Models

Xingchao Liu, Lemeng Wu외 2명|arXiv (Cornell University)|2022. 08. 31.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 임의의 도메인, 특히 이산, 구조적, 비유클리드 데이터를 포함한 데이터에서 학습이 가능한 잠재변수 모델로 확산 생성 모델를 재구성함으로써 이들을 통합적으로 이해하고 확장하는 프레임워크를 제안한다. 이는 확산 다리 과정을 통한 임의의 도메인에 대한 학습을 가능하게 하는 체계적인 x-브릿지 및 Ω-브릿지 구축 방법을 도입하여, 이미지, 의미 분할, 3D 포인트 클라우드에서 최신 기술 수준의 성능을 달성하며, 이론적 오차 분석과 함께 샘플링 효율성 향상을 이룬다.

ABSTRACT

Diffusion-based generative models have achieved promising results recently, but raise an array of open questions in terms of conceptual understanding, theoretical analysis, algorithm improvement and extensions to discrete, structured, non-Euclidean domains. This work tries to re-exam the overall framework, in order to gain better theoretical understandings and develop algorithmic extensions for data from arbitrary domains. By viewing diffusion models as latent variable models with unobserved diffusion trajectories and applying maximum likelihood estimation (MLE) with latent trajectories imputed from an auxiliary distribution, we show that both the model construction and the imputation of latent trajectories amount to constructing diffusion bridge processes that achieve deterministic values and constraints at end point, for which we provide a systematic study and a suit of tools. Leveraging our framework, we present 1) a first theoretical error analysis for learning diffusion generation models, and 2) a simple and unified approach to learning on data from different discrete and constrained domains. Experiments show that our methods perform superbly on generating images, semantic segments and 3D point clouds.

연구 동기 및 목표

• 연속적인 유클리드 도메인을 초월한 확산 생성 모델의 설계 선택, 해석 가능성, 일반화에 대한 개념적·이론적 격차를 해소하기 위해.
• 관측된 데이터 포인트 또는 제약 조건이 있는 도메인에서 정확히 도달하는 잠재 궤적(확산 브릿지)을 체계적으로 구성할 수 있는 방법을 개발하기 위해.
• 이산, 순서형, 카디널, 혼합형 데이터를 포함한 임의의 데이터 도메인 Ω ⊆ ℝᵈ 에서 효과적인 학습을 가능하게 하는 통합적이고 원칙적인 접근 방식을 통해 임의의 도메인에 대한 학습을 가능하게 하기 위해.
• 확산 모델 학습에 대한 첫 이론적 오차 분석을 제공하여 통계적 오차와 시간 이산화 오차를 정량화하기 위해.
• 도메인 특화 수정 없이도 비유클리드 및 제약 조건이 있는 데이터로의 적용 범위를 넓히고 샘플링 효율성을 향상시키기 위해.

제안 방법

• 관측되지 않은 확산 궤적을 보조 분포를 통해 보간함으로써 확산 모델을 잠재변수 모델로 재정의함으로써 최대우도 추정을 가능하게 한다.
• 최종 시간 T에서 주어진 데이터 포인트 x로 정확히 도달하는 잠재 궤적을 생성하기 위해 x-브릿지를 도입한다.
• 시간 T에서 제약 조건이 있는 도메인 Ω로 거의 확실히 도달하는 궤적을 생성하기 위해 Ω-브릿지를 도입한다. 이는 구조적 또는 이산 데이터의 모델링을 가능하게 한다.
• 보간된 궤적을 사용하여 우도를 최대화함으로써 생성 모델을 구성하며, 이때 드리프트 함수 sθ는 신경망을 통해 학습된다.
• Euler-Maruyama 스킴을 사용한 시간 이산화된 SDE를 사용하고, 표본 크기 n과 스텝 크기 ε에 대한 오차 한계를 유도한다.
• 노이즈 스케줄(예: 감쇠, OU 과정)을 적용하여 노이즈 크기를 시간에 따라 제어함으로써 탄력적이고 효율적인 샘플링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 확산 생성 모델가 단일 통계적 프레임워크 아래에서 이론적으로 이해되고 통합될 수 있는가?
• RQ2 잠재 궤적 보간이 확산 모델 학습에서 수행하는 기본적 역할은 무엇이며, 이를 체계적으로 구성할 수 있는가?
• RQ3 이산 및 구조적 데이터를 포함한 임의의 데이터 도메인에서 확산 모델을 훈련시킬 수 있는 단일 통합 방법을 개발할 수 있는가?
• RQ4 확산 모델 학습에 대한 이론적 오차 한계는 무엇이며, 통계적 오차와 이산화 오차는 데이터 크기와 스텝 크기에 따라 어떻게 척도가 변하는가?
• RQ5 다양한 데이터 유형에서 높은 품질의 생성을 유지하면서도 샘플링 효율성을 어떻게 향상시킬 수 있는가?

주요 결과

• 제안된 프레임워크는 이산 CIFAR-10 생성에서 FID 점수 6.52, IS 점수 8.84를 기록하여 기존 확산 모델을 초월하고 GAN과 경쟁 가능한 최신 기술 수준의 성능을 달성한다.
• 이론적 분석 결과, 진짜 분포와 학습된 분포 간의 KL 발산이 O((log(1/ε) + 1)/n + ε) 속도로 수렴함을 보여주며, 이는 확산 모델 학습에 대한 첫 종합적 오차 한계를 제공한다.
• CityScapes에서 의미 분할 맵의 고해상도 생성이 가능하며, 픽셀 벡터의 8개 차원 중 7개가 0 또는 1이 되어 유효한 one-hot 벡터를 형성한다.
• 노이즈 감쇠 스케줄(A, B, C)을 적용한 브릿지 변형은 연속 CIFAR-10에서 고품질의 이미지를 생성하여 DDPM 및 기타 최신 기술 수준의 확산 모델과 동등하거나 이를 초월하는 성능을 보였다.
• 데키퀀티제이션 또는 다항 확산과 같은 도메인 특화 수정 없이도 3D 포인트 클라우드 및 이산 데이터의 생성에 성공적으로 적용되었다.
• 통합 알고리즘적 접근을 통해 경계가 있는, 없는, 연속적, 이산적 데이터를 포함한 다양한 도메인에서 샘플링 속도 향상과 강인성을 입증하였다.