[논문 리뷰] Sampling is as easy as learning the score: theory for diffusion models with minimal data assumptions

Sitan Chen, Sinho Chewi외 4명|arXiv (Cornell University)|2022. 09. 22.

Bayesian Methods and Mixture Models인용 수 15

한 줄 요약

이 논문은 최소한의 데이터 가정 하에 스코어 기반 생성 모델(SGM)에 대해 처음으로 다항식 시간 수렴 보장을 제공하며, 정확한 $L^2$-노름 스코어 추정이 임의의 현실적인 데이터 분포에서 효율적인 샘플링을 가능하게 함을 보여준다. 핵심 결과는 스코어 오차가 $ olinebreak ilde{O}( olinebreak heta)$ 이면 SGM이 $W_2$ 거리에서 $ olinebreak heta$ 정확도를 달성하며, 랭지에빈 확산 이산화의 최신 복잡도 상한과 일치함을 증명한다.

ABSTRACT

We provide theoretical convergence guarantees for score-based generative models (SGMs) such as denoising diffusion probabilistic models (DDPMs), which constitute the backbone of large-scale real-world generative models such as DALL$\cdot$E 2. Our main result is that, assuming accurate score estimates, such SGMs can efficiently sample from essentially any realistic data distribution. In contrast to prior works, our results (1) hold for an $L^2$-accurate score estimate (rather than $L^\infty$-accurate); (2) do not require restrictive functional inequality conditions that preclude substantial non-log-concavity; (3) scale polynomially in all relevant problem parameters; and (4) match state-of-the-art complexity guarantees for discretization of the Langevin diffusion, provided that the score error is sufficiently small. We view this as strong theoretical justification for the empirical success of SGMs. We also examine SGMs based on the critically damped Langevin diffusion (CLD). Contrary to conventional wisdom, we provide evidence that the use of the CLD does not reduce the complexity of SGMs.

연구 동기 및 목표

• 실제로 가능한 최소한의 가정 하에 스코어 기반 생성 모델(SGM)의 이론적 수렴 보장을 제공하는 것.
• 고차원, 비로그볼록 환경에서 DDPM과 같은 SGM의 경험적 성공과 이론적 이해 사이의 격차를 메우는 것.
• $L^2$-정확한 스코어 추정—표준 스코어 매칭 목표와 일치함—이 증명 가능한 수렴을 위한 충분조건임을 보여주는 것.
• 비판적 감쇠 랭지에빈 확산(CLD)이 표준 랭지에빈 역학에 비해 샘플링 복잡도를 감소시키지 않는다는 것을 보여주는 것.

제안 방법

• 분석은 SGM의 정방향 및 역방향 확률적 과정에 기반한다: 정방향 과정은 데이터를 노이즈로 퍼뜨리며, 역방향 과정은 스코어 추정치를 사용해 데이터를 복구한다.
• 스코어 리프시츠 연속성, 유한한 두 번째 모멘트, 표준 가우시안에서의 유한한 KL 발산 등의 가정 하에 생성된 분포와 진짜 데이터 분포 사이의 $W_2$ 거리로 수렴을 확립한다.
• 핵심 논증은 부분 적분과 가우시안 항등식을 사용해 $L^2$ 스코어 추정 오차를 목표 분포로부터의 $W_2$ 거리와 연결한다.
• 단기 정규화 결과를 활용해 시간 $t$에서 정방향 과정 분포의 KL 발산을 유한하게 제한함으로써, 분포가 잘 행동함을 보장한다.
• 강한 함수적 부등식(예: LSI 또는 로그볼록성)을 피함으로써, 다중 모odal 및 비로그볼록 데이터 분포의 분석이 가능해진다.
• 표준 랭지에빈 확산과 비판적 감쇠 랭지에빈 확산(CLD)을 사용한 SGM의 복잡도를 비교하여, CLD가 점근적 우월성이 없음을 보여준다.

실험 결과

연구 질문

• RQ1 최소한의 가정 하에 스코어 기반 생성 모델이 진짜 데이터 분포로 효율적으로 수렴할 수 있는가?
• RQ2 $L^2$-정확한 스코어 추정만으로도 증명 가능한 수렴이 가능한가, 아니면 $L^\infty$-정확도가 필요한가?
• RQ3 LSI나 LSI와 같은 기능적 부등식을 가정하지 않고도 수렴 보장을 설정할 수 있는가?
• RQ4 비판적 감쇠 랭지에빈 확산(CLD)이 표준 랭지에빈 역학에 비해 SGM의 샘플링 복잡도를 감소시키는가?
• RQ5 차원, 스코어 오차, 데이터 분포 성질 등의 문제 매개변수에 대해 수렴 오차의 다항식 의존성은 어떻게 되는가?

주요 결과

• 스코어가 $L$-리프시츠이며, 두 번째 모멘트가 유한하고, 표준 가우시안에서의 KL 발산이 유한한 조건 하에 SGM은 $W_2$ 거리에서 $\varepsilon$ 정확도를 다항식 복잡도로 달성한다.
• 수렴 속도는 모든 매개변수, 특히 차원 $d$에 대해 다항식적으로 스케일링되며, 이는 이산화 랭지에빈 확산의 최고 수준의 상한과 일치한다.
• 이 분석은 다중 모달성까지 포함한 임의로 비로그볼록인 데이터 분포에 대해 유효하며, 이는 이전 연구들이 LSI나 로그볼록성을 요구한 것과 대조된다.
• 스코어 추정 오차는 $L^2$-정확도로 허용되며, 이는 표준 스코어 매칭 목표와 일치하고 $L^\infty$-정확도보다 더 현실적이다.
• 비판적 감쇠 랭지에빈 확산(CLD)은 동일한 스코어 오차 조건 하에서 표준 랭지에빈 역학에 비해 샘플링 복잡도를 감소시키지 않는다.
• 만약 $\varepsilon \ll \sqrt{d}$ 이면, 시간 $t \asymp \varepsilon^2 / (\sqrt{d} (R \vee \sqrt{d}))$ 에서 $W_2(q, q_t) \leq \varepsilon$ 이고 $\mathsf{KL}(q_t \| \gamma^d) \lesssim \sqrt{d} (R \vee \sqrt{d})^3 / \varepsilon^2$ 가 성립한다.