[논문 리뷰] Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data

Minshuo Chen, Kaixuan Huang외 2명|arXiv (Cornell University)|2023. 02. 14.

Advanced Neuroimaging Techniques and Applications인용 수 8

한 줄 요약

이 논문은 데이터가 미지의 저차 선형 부분공간에 놓여 있을 때 확산 모델의 점수 근사, 추정 및 분포 회복을 분석하고 차원 의존적인 샘플 복잡도 보장을 갖춘 신경망 기반 방법을 제시한다.

ABSTRACT

Diffusion models achieve state-of-the-art performance in various generation tasks. However, their theoretical foundations fall far behind. This paper studies score approximation, estimation, and distribution recovery of diffusion models, when data are supported on an unknown low-dimensional linear subspace. Our result provides sample complexity bounds for distribution estimation using diffusion models. We show that with a properly chosen neural network architecture, the score function can be both accurately approximated and efficiently estimated. Furthermore, the generated distribution based on the estimated score function captures the data geometric structures and converges to a close vicinity of the data distribution. The convergence rate depends on the subspace dimension, indicating that diffusion models can circumvent the curse of data ambient dimensionality.

연구 동기 및 목표

• 데이터가 고유하게 저차 구조를 가질 때 확산 모델에 대한 이론적 이해를 동기 부여한다.
• 저차 부분공간 가정하에 점수 함수를 지지 방향(on-support)과 직교(Orthogonal) 성분으로 분해한다.
• 점수 함수에 대한 신경망 구조와 근사 보장을 제공한다.
• 주변 차원 수의 저주를 피하면서 점수 추정 및 분포 회복에 대한 통계적 보장을 확립한다.

제안 방법

• 스킵 연결이 있는 인코더-디코더 점수 네트워크를 제안하여 L2 노름으로 점수 함수를 근사한다(정리 1).
• 저차 선형 부분공간 모델을 사용하여 데이터 점수를 지지 부분과 직교 부분으로 분해한다(보조정리 1).
• 노이즈 제거 점수 매칭을 사용하여 신경 점수 추정기를 경험적 손실(식 6)로 학습한다.
• 내재 차원 d에 의존하는 점수 추정의 샘플 복잡도 경계치를 도출한다(정리 2).
• 산술된 역과정을 이산화하여 시뮬레이션하고 부분공간 회복 및 TV/W2 오차를 경계하는 방식으로 분포 회복을 분석한다(정리 3).
• 학습된 점수가 역확산을 어떻게 이끌어 데이터 기하를 회복하고 주변 차원의 저주를 겪지 않는지 특성화한다.

Figure 1: Demonstration of score decomposition induces two backward processes.

실험 결과

연구 질문

• RQ1 데이터가 저차 부분공간에 놓일 때 신경망이 점수 함수를 정확하게 근사하고 학습할 수 있는가?
• RQ2 학습된 점수 함수를 사용하여 확산 모델이 데이터 분포를 추정할 수 있는가, 그리고 고유 기하와 부분공간 구조가 샘플 복잡도에 어떤 영향을 미치는가?
• RQ3 효과적인 점수 근사를 가능하게 하는 아키텍처는 무엇이며 추정 및 분포 회복의 샘플 복잡도는 어떻게 되는가?
• RQ4 역확산 과정이 데이터 기하를 어떻게 포착하고 데이터 부분공간을 회복하는가?

주요 결과

• 점수 함수는 저차 부분공간 가정하에 지지 방향(on-support)과 직교 성분으로 분해될 수 있다(보조정리 1).
• 스킵 연결이 있는 인코더-디코더 점수 네트워크가 명시적 L2 보장을 가지고 점수를 근사할 수 있다(정리 1).
• 신경 점수 추정기가 L2에서 내재 차원 d에 의존하는 속도로 진실 점수에 수렴한다(정리 2).
• 학습된 점수에 의한 분포 추정은 데이터 분포의 근접 영역으로 수렴하고, 지지 방향은 표본 크기에 의존하는 TV 거리의 속도로 수렴하며, 직교 방향은 부분공간으로 수렴한다(정리 3).
• 이 결과는 데이터가 저차 부분공간에 놓여 있을 때 확산 모델이 주변 차원의 저주를 피할 수 있음을 보여준다.

Figure 2: Network architecture of ${\mathcal{S}}_{\rm NN}$ .