[논문 리뷰] Continuous-Time Functional Diffusion Processes

Giulio Franzese, Corallo, Giulio외 4명|arXiv (Cornell University)|2023. 03. 01.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 고급 확률 미적분을 사용하여 유한차원 확률 모델을 무한차원 함수 공간으로 일반화하는 연속시간 프레임워크인 기능적 확산 과정(functional diffusion processes, fDPs)을 소개한다. 힐버트 공간으로의 기이산프의 정리(Girsanov's theorem)와 샘플링 정리의 확장함으로써, fDPs는 단순한 MLP나 트랜스포머를 사용하여 이미지, 오디오, 기타 연속 데이터의 고해상도 생성을 가능하게 하며, 이는 이전의 확산 모델들보다 수개의 매개변수로도 최신 기술 성능을 달성한다.

ABSTRACT

We introduce Functional Diffusion Processes (FDPs), which generalize score-based diffusion models to infinite-dimensional function spaces. FDPs require a new mathematical framework to describe the forward and backward dynamics, and several extensions to derive practical training objectives. These include infinite-dimensional versions of Girsanov theorem, in order to be able to compute an ELBO, and of the sampling theorem, in order to guarantee that functional evaluations in a countable set of points are equivalent to infinite-dimensional functions. We use FDPs to build a new breed of generative models in function spaces, which do not require specialized network architectures, and that can work with any kind of continuous data. Our results on real data show that FDPs achieve high-quality image generation, using a simple MLP architecture with orders of magnitude fewer parameters than existing diffusion models.

연구 동기 및 목표

• 이산화된 아티팩트를 피하면서 직접 연속 함수에 작용하는 이론적으로 탄탄한 확산 모델링 프레임워크를 개발하는 것.
• 무한차원 힐베르트 공간으로의 기이산프의 정리와 샘플링 정리와 같은 핵심 도구를 확장하여 엄밀한 변분 추론을 가능하게 하는 것.
• 특수화된 아키텍처 없이 다양한 연속 데이터 모odalities—이미지, 오디오, 영상—에 대한 종단간 생성 모델링을 가능하게 하는 것.
• 단순한 모델들인 MLP나 트랜스포머가 연속 공간에서 기능적 스코어를 학습함으로써 고품질의 생성을 달성할 수 있음을 보여주는 것.
• 임의의 해상도를 지원하고 해상도에 종속되지 않는 생성을 가능하게 하는 통합적이고 확장 가능한 생성 모델링 접근법을 제공하는 것.

제안 방법

• 유한차원 확산 모델을 함수 공간으로 일반화하는 힐베르트 공간 내 연속시간 스토케스틱 프로세스로 기능적 확산 과정(fDPs)을 제안한다.
• 기이산프의 정리의 무한차원 확장에 기반해 증거 하한(lower bound, ELBO)를 유도함으로써 스코어 함수의 변분 학습을 가능하게 한다.
• 무한차원 샘플링 정리를 도입하여, 가 countable한 점들에서의 기능 평가값만으로도 전체 함수를 재구성할 수 있음을 증명한다.
• 암묵적 신경 표현(implicit neural representations, INRs)과 트랜스포머를 사용하여 함수 값과 스코어를 효율적인 매개변수화 방식으로 함께 모델링한다.
• fDPs의 확률 미분 방정식(stochastic differential equations, SDEs)에 적합한 예측-수정(predictor-corrector) 수치적 방법을 도입하여 샘플링과 학습을 수행한다.
• 중간 단계의 이산화 없이 원시 연속 데이터를 입력으로 사용하여 이미지 및 오디오 생성에 프레임워크를 적용한다.

Figure 1 : Qualitative results with MLP.

실험 결과

연구 질문

• RQ1 스코어 기반 확산 모델이 연속시간 스토케스틱 프로세스를 사용하여 무한차원 함수 공간으로 엄밀히 확장될 수 있는가?
• RQ2 무한차원 힐베르트 공간에서 증거 하한(ELBO)을 어떻게 도출할 수 있으며, 이를 통해 기능적 스코어의 변분 학습이 가능하게 하는가?
• RQ3 기능적 확산의 맥락에서, 가 countable한 점들에서의 함수 평가값만으로도 함수를 완전히 재구성할 수 있는 수학적 조건은 무엇인가?
• RQ4 MLP나 트랜스포머와 같은 단순하고 특수화되지 않은 신경 아키텍처가 무한차원 연속 함수 공간에서 고품질의 생성을 달성할 수 있는가?
• RQ5 제안된 프레임워크는 아키텍처나 데이터에 특화되지 않은 채로 다양한 데이터 모달리티—이미지, 오디오, 영상—에서 어떻게 성능을 발휘하는가?

주요 결과

• fDPs는 기존의 확산 모델들보다 수개의 매개변수로도 고해상도 이미지 생성을 달성하며, 강력한 매개변수 효율성을 입증한다.
• 해상도에 종속되지 않는 생성이 가능함을 보여주며, MNIST에 대한 초해상도 실험에서 단일 학습 런으로도 임의의 해상도에서 이미지를 생성할 수 있다.
• 이식, 흐림 제거, 색상화 등의 조건부 생성 작업에서 질적으로 일관된 결과를 도출하며, 모델이 손상되거나 누락된 영역을 재구성하면서 의미적 구조를 유지한다.
• Spoken Digit 데이터셋에서의 초도 오디오 생성 실험 결과, 모델은 원시 파형에서 직접 이해 가능한 말하는 숫자를 생성할 수 있었으며, 실제 샘플과 청각적으로 유사한 파형을 생성하였다.
• 암묵적 신경 표현(INRs)과 트랜스포머의 사용은 함수 값과 스코어의 효과적인 동시 모델링을 가능하게 하여, 융통성 있고 확장 가능한 기능적 표현을 지원한다.
• 기이산프의 정리와 샘플링 정리의 확장에 기반한 이론적 프레임워크는 학습 목적이 유효한 ELBO임을 보장하며, 무한차원에서 히우리스틱 스코어 매칭의 엄밀한 대안을 제공한다.

Figure 2 : Qualitative results with UViT.