[논문 리뷰] Understanding DDPM Latent Codes Through Optimal Transport

Valentin Khrulkov, Ryzhakov, Gleb외 2명|arXiv (Cornell University)|2022. 02. 14.

Generative Adversarial Networks and Image Synthesis인용 수 12

한 줄 요약

이 논문은 VP-SDE(DDPM) 프레임워크에서 DDPM 인코더 매핑이 다변량 정규분포에 대해 이론적으로, 그리고 합성 및 실제 이미지 데이터에 대해 수치적으로 데이터 분포와 표준 정규분포 사이의 몽게 최적 운반 매핑과 일치함을 보여준다. 이 결과는 DDPM 잠재 코드가 최적 운반을 통해 구조를 인코딩하며, 다양한 모델 간 고수준 특징 전달이 가능하다는 것을 시사한다.

ABSTRACT

Diffusion models have recently outperformed alternative approaches to model the distribution of natural images, such as GANs. Such diffusion models allow for deterministic sampling via the probability flow ODE, giving rise to a latent space and an encoder map. While having important practical applications, such as estimation of the likelihood, the theoretical properties of this map are not yet fully understood. In the present work, we partially address this question for the popular case of the VP SDE (DDPM) approach. We show that, perhaps surprisingly, the DDPM encoder map coincides with the optimal transport map for common distributions; we support this claim theoretically and by extensive numerical experiments.

연구 동기 및 목표

• 확률 흐름 ODE를 통해 데이터를 표준 정규 잠재 공간으로 매핑하는 DDPM 인코더 매핑의 수학적 성질을 이해하기 위해.
• DDPM 인코더 매핑이 데이터 분포와 노이즈 분포 사이의 최적 운반 매핑과 일치하는지 조사하기 위해.
• 이러한 일치성에 대해 이론적 및 실증적 증거를 합성 및 실제 이미지 분포에서 제시하기 위해.

제안 방법

• 다변량 정규분포에 대해 이론적 분석을 수행하여, DDPM 인코더 매핑이 최적 운반 매핑과 정확히 일치함을 증명하였다.
• 수치 실험을 통해 텐서 트레이스 솔버를 사용해 포켈-플랑크 방정식을 풀어 확률 흐름 ODE를 계산하고 최적 운반 일치성을 검증하였다.
• 실제 이미지(FFHQ, MetFaces, AFHQ, ImageNet)를 역으로 복원하기 위해 DDIM 샘플링을 사용하고, 원본 이미지와 그 잠재 코드 사이의 최적 운반 비용을 계산하였다.
• POT 라이브러리를 사용해 DDIM에 의해 유도된 매핑과 진정한 최적 운반 매핑 간의 최적 운반 비용을 비교하였다.
• 다른 모델 간 공유된 잠재 코드로부터 생성된 샘플의 유사성을 평가하여 고수준 특징 전달 현상을 관찰하였다.
• ImageNet 모델에 대한 조건부 실험을 통해 공유된 잠재 코드 하에서 텍스처와 스타일이 클래스 간으로 유지되는지 테스트하였다.

실험 결과

연구 질문

• RQ1 확률 흐름 ODE에 의해 유도된 DDPM 인코더 매핑은 데이터 분포와 표준 정규분포 사이의 최적 운반 매핑과 일치하는가?
• RQ2 비정규분포 및 실제 이미지 분포에 대해 DDPM 인코더는 최적 운반 매핑을 얼마나 정확히 근사하는가?
• RQ3 다른 데이터셋에서 훈련된 다양한 확산 모델 간에 공유된 잠재 코드가 사용될 때, 잠재 코드의 실증적 행동은 어떠한가?
• RQ4 최적 운반 구조 덕분에 텍스처, 자세, 성별과 같은 고수준 시각적 특징이 공유된 잠재 코드를 통해 전달될 수 있는가?
• RQ5 관찰된 일치성은 DDPM에 특화된 것이며, 점수 기반 생성 모델의 일반적 성질인가?

주요 결과

• 다변량 정규분포에 대해 이론적으로 증명된 linemapping에 따르면, DDPM 인코더 매핑은 몽게 최적 운반 매핑과 정확히 일치한다.
• 합성 분포에 대해 수치적으로 포켈-플랑크 방정식을 풀어, DDPM 인코더 매핑이 최적 운반 매핑과 기계 정밀도 이내로 일치함을 확인하였다.
• 실제 이미지 데이터셋(FFHQ, MetFaces, AFHQ)에서, 서로 다른 모델 간에 공유된 잠재 코드는 성별, 자세, 텍스처와 같은 고수준 특징이 일치하는 이미지를 생성하였다.
• AFHQ 검증 세트에서 원본 이미지와 그 DDIM로 인코딩된 잠재 코드 사이의 최적 운반 비용은 확률 흐름 ODE에 의해 유도된 비용과 기계 정밀도 이내로 일치하였다.
• 조건부 ImageNet 모델 실험에서 공유된 잠재 코드가 텍스처와 스타일을 클래스 간 전달하는 것으로 나타나, 잠재 공간이 인지적 유사성을 인코딩하고 있음을 시사하였다.
• BigGAN 실험에서 이러한 전달 현상이 관찰되지 않아, 관찰된 특징 정렬 현상이 DDPM에 특화된 것이며 일반적인 조건부 생성 효과가 아님을 확인하였다.