[논문 리뷰] Score-based Generative Modeling Secretly Minimizes the Wasserstein Distance

Dohyun Kwon, Ying Fan외 1명|arXiv (Cornell University)|2022. 12. 13.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 점수 기반 생성 모델이 점수 매칭 손실을 통해 워샤르슈타인 거리의 상한을 증명함으로써, 생성된 분포와 데이터 분포 간의 워샤르슈타인 거리를 암묵적으로 최소화한다는 것을 입증한다. 최적의 운반 이론을 통해, 워샤르슈타인 거리는 상수와 오프셋을 제외한 손실의 제곱근으로 유계임을 보이며, 이는 이러한 모델이 분포 근사에서 경험적으로 성공하는 데 이론적 근거를 제공한다.

ABSTRACT

Score-based generative models are shown to achieve remarkable empirical performances in various applications such as image generation and audio synthesis. However, a theoretical understanding of score-based diffusion models is still incomplete. Recently, Song et al. showed that the training objective of score-based generative models is equivalent to minimizing the Kullback-Leibler divergence of the generated distribution from the data distribution. In this work, we show that score-based models also minimize the Wasserstein distance between them under suitable assumptions on the model. Specifically, we prove that the Wasserstein distance is upper bounded by the square root of the objective function up to multiplicative constants and a fixed constant offset. Our proof is based on a novel application of the theory of optimal transport, which can be of independent interest to the society. Our numerical experiments support our findings. By analyzing our upper bounds, we provide a few techniques to obtain tighter upper bounds.

연구 동기 및 목표

• 점수 기반 생성 모델이 KL 발산 최소화 외에도 실용적으로 잘 작동하는 이유를 이론적으로 이해하기 위해.
• 점수 기반 모델이 직접 최소화하지는 않지만 암묵적으로 워샤르슈타인 거리를 최소화하는지 조사하기 위해.
• 점수 매칭 목표 함수를 사용하여 워샤르슈타인 거리에 대한 엄밀한 상한을 설정하기 위해.
• 모델 설계 및 훈련 선택을 통해 이론적 상한을 강화하는 데 실용적인 통찰을 제공하기 위해.

제안 방법

• 저자는 최적의 운반 이론을 사용하여 점수 기반 모델에서 확률 측도의 시간 진화를 연속성 방정식을 통해 분석한다.
• Fokker-Planck 및 역방향 SDE 동역학에서 유도된 속도 장을 사용하여 데이터 분포와 모델 분포 간의 워샤르슈타인 거리의 시간 도함수를 유도한다.
• 핵심 부등식을 도출: 워샤르슈타인 거리의 변화율은 점수 매칭 손실과 리프시츠 상수의 함수로 유계이다.
• 이 상한은 $ -\frac{d}{dt}W_2(p_t, q_t) \leq (L_f + L_s g^2)W_2(p_t, q_t) + g^2 b^{1/2} $로 표현되며, $ b(t) $는 기대 제곱 점수 오차이다.
• 이론적 상한은 점수 매칭 손실 $ J_{SM} $ 에 대해 유도되며, 이는 $ \sqrt{J_{SM}} $ 에 비례함을 보여준다.
• 수치 실험을 통해 이론적 상한을 검증하고, 시간 영역 $ T $ 와 노이즈 스케줄 조정 등의 기법을 통해 상한을 강화하는 방법을 탐색한다.

실험 결과

연구 질문

• RQ1 점수 기반 생성 모델링은 생성된 분포와 데이터 분포 간의 워샤르슈타인 거리를 암묵적으로 최소화하는가?
• RQ2 모델이 직접 최소화하지는 않지만, 점수 매칭 손실 함수를 사용하여 워샤르슈타인 거리를 상한으로 제시할 수 있는가?
• RQ3 시간 영역 $ T $ 와 노이즈 스케줄의 선택은 워샤르슈타인 거리에 대한 이론적 상한의 날카로움에 어떻게 影향을 미치는가?
• RQ4 실제 훈련에서 이론적 상한의 날카로움을 향상시키기 위한 실용적 기법은 무엇인가?

주요 결과

• 데이터 분포와 모델 분포 간의 워샤르슈타인 거리는 상수 배수와 고정 오프셋을 제외한 점수 매칭 손실 $ J_{SM} $ 의 제곱근으로 유계이다.
• 이 상한은 최적의 운반 이론과 Fokker-Planck 및 역방향 SDE 과정의 궤적을 따라 워샤르슈타인 거리의 시간 도함수를 사용하여 도출된다.
• 적절한 가정 하에 저자들은 $ J_{SM} \leq J_{DSM} $ 를 증명하며, 더 실용적인 $ J_{DSM} $ 손실이 워샤르슈타인 거리를 유계로 제한하는 데 사용될 수 있음을 보여준다.
• 수치 실험은 점수 매칭 손실이 감소할수록 KL 발산과 워샤르슈타인 거리도 감소함을 확인하며, 이는 이론적 주장에 대한 지지를 받는다.
• 시간 영역 $ T $ 가 클 경우(예: $ T \geq 100 $) 상한이 크게 강화되며, $ I(T)W_2(p_T, q_T) $ 는 거의 지수적으로 감소한다.
• 모델은 초기 데이터 분포의 편향에 대해 강건함을 입증하였으며, 이러한 변화 하에서도 워샤르슈타인 거리는 여전히 유계이다.