[논문 리뷰] Convergence of score-based generative modeling for general data distributions

Holden Lee, Jianfeng Lu외 1명|arXiv (Cornell University)|2022. 09. 26.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 일반적인 데이터 분포, 특히 다중모달성과 비연속성 분포를 포함하여, $L^2$-정확한 스코어 추정 하에 디노이징 확산 모델을 분석함으로써 스코어 기반 생성 모델(SGM)에 대해 다항 시간 수렴 보장을 수립한다. 부드러움이나 함수 부등식에 대한 강한 가정 없이도 워샤르슈타인 거리 및 총 변동 거리의 경계를 제공하며, 오차 매개변수에 대해 효율적인 다항 의존성을 달성한다.

ABSTRACT

Score-based generative modeling (SGM) has grown to be a hugely successful method for learning to generate samples from complex data distributions such as that of images and audio. It is based on evolving an SDE that transforms white noise into a sample from the learned distribution, using estimates of the score function, or gradient log-pdf. Previous convergence analyses for these methods have suffered either from strong assumptions on the data distribution or exponential dependencies, and hence fail to give efficient guarantees for the multimodal and non-smooth distributions that arise in practice and for which good empirical performance is observed. We consider a popular kind of SGM -- denoising diffusion models -- and give polynomial convergence guarantees for general data distributions, with no assumptions related to functional inequalities or smoothness. Assuming $L^2$-accurate score estimates, we obtain Wasserstein distance guarantees for any distribution of bounded support or sufficiently decaying tails, as well as TV guarantees for distributions with further smoothness assumptions.

연구 동기 및 목표

• 실제 설정에서 스코어 기반 생성 모델(SGM)의 뛰어난 경험적 성능과 약한 이론적 이해 사이의 격차를 메우기 위해.
• 일반적인 데이터 분포, 특히 다중모달성 및 비연속성 분포를 포함하여 효율적(다항식)이고 적용 가능한 수렴 보장을 SGM에 제공하기 위해.
• 기존 연구에서 흔히 사용되는 제한적인 $L^\infty$-오차 가정을 피하기 위해, $L^2$-정확한 스코어 추정 하에 디노이징 확산 모델을 분석하기 위해.
• 데이터 분포에 대한 최소한의 구조적 가정으로 워샤르슈타인 거리 및 총 변동 거리의 경계를 유도하기 위해.
• 이전 연구에서 관찰된 지수적 의존성과는 반대로 오차 매개변수에 대해 다항 의존성을 달성하기 위해.

제안 방법

• 디노이징 확산 모델의 역시간 SDE를 분석하며, 진짜 스코어 함수를 $L^2$-정확한 추정치로 대체한다.
• 기존의 $L^\infty$-기반 분석과 달리, $L^2$-오차가 정적 분포에 비균일하게 영향을 미치는 것을 다루기 위해 중간 시간 분석을 사용한다.
• 커플링 기법과 가우시안 尾부 경계를 적용하여 TV 거리와 워샤르슈타인 오차 사이의 관계를 설정하며, 특히 잘라낸 샘플에 대해 유의미하게 한다.
• 무거운 尾부 또는 유계가 아닌 분포를 다루기 위해 샘플을 구 외부로 바꾸는 트렁케이션 단계를 도입한다.
• 총 변동 거리나 워샤르슈타인 거리에서 목표 오차 $\varepsilon_{\text{TV}}$ 또는 $\varepsilon_{\text{W}}$ 를 달성하기 위해 필요한 스코어 추정 오차 $\varepsilon_\sigma$ 의 경계를 유도한다.
• 미리 정의된 지수적 尾부와 유계 지지 집합에 대한 가정을 활용하여 꼬리 행동을 제어하고 다항 의존성을 도출한다.

실험 결과

연구 질문

• RQ1 데이터 분포에 대한 부드러움이나 함수 부등식에 대한 가정 없이도 스코어 기반 생성 모델링에 대해 다항 시간 수렴 보장을 달성할 수 있는가?
• RQ2 $L^2$-정확한 스코어 추정은 워샤르슈타인 거리 및 TV 거리 측면에서 생성된 분포가 데이터 분포로 수렴하는 데 어떤 영향을 미치는가?
• RQ3 목표 분포 오차($\varepsilon_{\text{TV}}$ 또는 $\varepsilon_{\text{W}}$)를 달성하기 위해 필요한 스코어 추정 정확도($\varepsilon_\sigma$)는 어느 정도인가?
• RQ4 강한 정규성 조건이 필요 없이 유계 지지 집합 또는 지수적 尾부를 가진 분포를 다룰 수 있는가?
• RQ5 무거운 尾부가 존재할 경우, 구 외부의 샘플을 잘라내는 것이 워샤르슈타인 오차에 어떤 영향을 미치는가?

주요 결과

• 유계 지지 집합 또는 지수적 尾부를 가진 분포에 대해, 논문은 $\operatorname{TV}(p_{t_N}, P_{\text{data}}) \leq \varepsilon_{\text{TV}}$ 를 달성하며, $\varepsilon_\sigma = \widetilde{o}\left(\frac{\varepsilon_{\text{TV}}^{6.5}\varepsilon_{\text{W}}^5}{R^9 d^{2.25}}\right)$ 를 보장하여 오차와 차원에 대해 다항 의존성을 보여준다.
• 추가적인 부드러움 가정 하에, 필요한 스코어 오차는 $\varepsilon_\sigma = \widetilde{o}\left(\frac{\varepsilon_{\text{TV}}^4}{C^2 d}\right)$ 로, 이전 연구에서 관찰된 지수적 의존성보다 향상된다.
• 워샤르슈타인 오차의 경우 일반 조건 하에서 $\varepsilon_\sigma = \widetilde{o}\left(\frac{\varepsilon_{\text{W}}^{18}}{R^{22} d^{2.25}}\right)$ 를 도출하였으며, 더 강한 부드러움 조건 하에서는 $\varepsilon_\sigma = \widetilde{o}\left(\frac{\varepsilon_{\text{W}}^8}{C^2 R^8 d}\right)$ 를 얻는다.
• 기존 연구와 달리 직경이나 오차의 역수에 대한 지수적 의존성을 피하기 위해 중간 시간 접근법과 정교한 커플링 기법을 사용함으로써 이를 회피한다.
• 결과는 로그-소볼레프 부등식 등의 표준 가정을 위반하는 다중모달성 및 저차원 다양체 지지 분포에도 적용 가능하다.
• 구 외부 샘플을 잘라내고 가우시안 尾부 경계를 사용함으로써, 비유계 분포에 대해서도 워샤르슈타인 오차 경계를 달성할 수 있다.