[논문 리뷰] Score-Based Generative Models Detect Manifolds

Jakiw Pidstrigach|arXiv (Cornell University)|2022. 06. 02.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 점수 기반 생성 모델(SGM)이 진정으로 데이터의 저차원적 데이터 다양체 $\mathcal{M}$ 에서 표본을 신뢰성 있게 생성할 수 있는 이론적 조건을 규명한다. 이는 진정한 데이터 분포를 정확히 추정하지 못하더라도 가능하다. 이 논문은 SGM이 분포 오차나 모델 근사 오차가 존재하더라도 얼굴이나 훈련 데이터 패턴과 같은 정확한 다양체의 구조를 탐지하고 생성할 수 있음을 증명하며, 확산 모델의 일반화와 기억의 이론적 기초를 제공한다.

ABSTRACT

Score-based generative models (SGMs) need to approximate the scores $ abla \log p_t$ of the intermediate distributions as well as the final distribution $p_T$ of the forward process. The theoretical underpinnings of the effects of these approximations are still lacking. We find precise conditions under which SGMs are able to produce samples from an underlying (low-dimensional) data manifold $\mathcal{M}$. This assures us that SGMs are able to generate the "right kind of samples". For example, taking $\mathcal{M}$ to be the subset of images of faces, we find conditions under which the SGM robustly produces an image of a face, even though the relative frequencies of these images might not accurately represent the true data generating distribution. Moreover, this analysis is a first step towards understanding the generalization properties of SGMs: Taking $\mathcal{M}$ to be the set of all training samples, our results provide a precise description of when the SGM memorizes its training data.

연구 동기 및 목표

• 점수 기반 생성 모델(SGM)이 훈련 데이터를 단순히 암기하는 것이 아니라 진정한 데이터 다양체 $\mathcal{M}$ 에서 표본을 생성할 수 있는 조건를 이해하는 것.
• SGM의 일반화 성질을 분석하기 위해, 훈련 데이터를 암기하는 것과 데이터 다양체의 구조를 학습하는 것의 조건을 규명하는 것.
• 최종 분포 $p_T$와 점수 $\nabla\log p_t$가 근사될 경우에도 SGM이 정확한 다양체에서 표본을 안정적으로 생성할 수 있는 이론적 조건을 설정하는 것.
• 사전 분포와 점수 네트워크의 근사 오차가 최종 표본 분포 $\mu_{\text{sample}}$ 에 미치는 영향을 이해하는 데 이론적 격차를 메우는 것.

제안 방법

• 논문은 SGM의 정방향 및 역방향 SDE를 모델링하며, 정방향 SDE는 데이터를 노이즈로 흩어내고, 역방향 SDE는 노이즈에서 표본을 재구성한다.
• 정방향 SDE의 주변 분포 $p_t$와 표준 정규분포 $n_t$ 사이의 KL 발산을 분석하여, 미약한 모멘트 조건 하에서 $t \to \infty$ 일 때 이 발산이 0으로 수렴함을 보였다.
• 분석은 De Bruijn의 항등식과 조건부 기대값을 활용하여 점수 함수 $\nabla\log p_t$ 를 노이즈가 첨가된 관측치 위에 초기 데이터의 $L^2$-투영과 연결한다.
• 만약 데이터 분포 $\mu_{\text{data}}$ 가 반지름 $M$ 의 구에 포함되어 있다면, $t \to \infty$ 일 때 KL 발산 $KL(p_t \| n_t) \to 0$ 이 되며, 이는 모델이 정확한 다양체 구조를 복원할 수 있음을 보장한다.
• 논문은 절단과 지배 수렴을 통해 일반 분포로 결과를 확장하여, 컴actsupport가 없더라도 KL 발산의 수렴을 보였다.
• SGM이 점수 네트워크와 사전 분포가 충분히 정확할 경우 데이터 다양체 $\mathcal{M}$ 를 탐지할 수 있음을 입증하였다. 이는 최종 분포가 완벽하게 일치하지 않더라도 가능하다.

실험 결과

연구 질문

• RQ1 분포가 완전히 복원되지 않더라도 점수 기반 생성 모델이 진정한 데이터 다양체 $\mathcal{M}$ 에서 표본을 생성할 수 있는 조건는 무엇인가?
• RQ2 사전 분포 $\mu_{\text{prior}}$ 와 점수 네트워크 $s_\theta(x,t)$ 의 근사 오차가 모델이 정확한 다양체에서 표본을 생성하는 능력에 미치는 영향은 무엇인가?
• RQ3 SGM이 훈련 데이터를 암기하는 것과 데이터의 기저 구조인 다양체로 일반화하는 조건는 언제인가?
• RQ4 분포 근사 오차가 존재하더라도 역방향 SDE가 정확한 다양체 구조를 복원할 수 있는 이론적 보장은 무엇인가?
• RQ5 시간 $t$ 가 증가함에 따라 정방향 SDE의 주변 분포와 표준 정규분포 사이의 KL 발산은 어떻게 변화하며, 이는 다양체 탐지에 어떤 의미를 갖는가?

주요 결과

• 데이터 분포가 유한한 두 번째 모멘트를 가진다면, $t \to \infty$ 일 때 KL 발산 $KL(p_t \| n_t)$ 는 0으로 수렴하며, 이는 정방향 과정이 초기 조건을 잊고 정확한 다양체를 복원할 수 있음을 보장한다.
• 데이터 분포가 반지름 $M$ 의 구에 포함되어 있다면, $t \to \infty$ 일 때 KL 발산 $KL(p_t \| n_t) \to 0$ 이 되며, 이는 역방향 SDE가 정확한 다양체 구조에서 표본을 생성할 수 있음을 의미한다.
• 논문은 점수 함수 $\nabla\log p_t$ 가 신경망 $s_\theta(x,t)$ 로 근사되더라도, 근사 오차가 유계일 경우 SGM이 데이터 다양체 $\mathcal{M}$ 를 탐지할 수 있음을 증명하였다.
• 분석 결과, 최종 분포 $p_T$ 가 사전 분포 $\mu_{\text{prior}}$ 로 근사되더라도, 정방향 과정이 초기 조건을 잊는다면 SGM은 정확한 다양체에서 표본을 생성할 수 있다.
• 점수 네트워크가 진짜 점수 함수를 잘 근사할 경우 모델은 기저 데이터 다양체로 일반화되며, 다양체의 구조를 탐지하지 못할 경우에만 훈련 데이터를 암기한다.
• 이론적 프레임워크는 SGM이 훈련 데이터를 암기하는 정확한 조건을 제공한다: 데이터 다양체 $\mathcal{M}$ 의 저차원적 구조를 탐지하지 못할 경우에 암기 현상이 발생한다.