[논문 리뷰] Understanding Diffusion Models via Ratio-Based Function Approximation with SignReLU Networks

Luwei Sun, Dongrui Shen외 3명|arXiv (Cornell University)|2026. 01. 29.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

이 논문은 SignReLU 네트워크를 사용하여 f1/f2 비율형 함수들을 근사하는 이론을 개발하고, 이를 확산 모델에 특수화하며, DDPM에 대한 finite-sample 초과 KL 위험 상한을 도출한다.

ABSTRACT

Motivated by challenges in conditional generative modeling, where the target conditional density takes the form of a ratio f1 over f2, this paper develops a theoretical framework for approximating such ratio-type functionals. Here, f1 and f2 are kernel-based marginal densities that capture structured interactions, a setting central to diffusion-based generative models. We provide a concise proof for approximating these ratio-type functionals using deep neural networks with the SignReLU activation function, leveraging the activation's piecewise structure. Under standard regularity assumptions, we establish L^p(Omega) approximation bounds and convergence rates. Specializing to Denoising Diffusion Probabilistic Models (DDPMs), we construct a SignReLU-based neural estimator for the reverse process and derive bounds on the excess Kullback-Leibler (KL) risk between the generated and true data distributions. Our analysis decomposes this excess risk into approximation and estimation error components. These results provide generalization guarantees for finite-sample training of diffusion-based generative models.

연구 동기 및 목표

• kernel-induced marginals와 연결된 density-ratio 형태의 타깃을 갖는 조건부 밀도 추정에 대한 동기 부여.
• SignReLU 네트워크를 사용한 ratio-type 함수에 대한 엄밀한 근사 프레임워크를 개발.
• 확률 프레임워크를 확산 모델에 특수화하고 역과정에 SignReLU 기반 추정기를 구성.
• 근사와 추정 오차로 분해된 finite-sample 초과 KL 리스크 하한을 도출.

제안 방법

• kernel-induced marginals와 함께 ratio 함수 클래스 f1/f2를 정의.
• SignReLU 네트워크로 f1과 f2를 근사하고 나눗셈 게이트를 구성하여 비율을 근사.
• f1과 f2에 대한 균일 양성 하한을 가정하고 f1/f2에 대한 근사 경계를 증명.
• Diffusion 모델에 결과를 적용하여 SignReLU 기반 역과정 추정기를 구성.
• 순방향 및 역확산 과정을 분석하고 근사 및 추정 오차를 통해 초과 KL 위험을 상한.

실험 결과

연구 질문

• RQ1 kernel-induced marginals에서 발생하는 ratio-type 함수als f1/f2를 신경망으로 근사할 때 안정성을 제어할 수 있는가?
• RQ2 SignReLU 네트워크가 이 비율들을 효율적으로 근사하고 명시적 오차 상한을 제공할 수 있는가?
• RQ3 이 프레임워크가 DDPM 같은 확산 모델에 대해 finite-sample 보장을 어떻게 제공하는가?
• RQ4 이 설정에서 초과 KL 위험의 분해가 근사 및 추정 구성요소로 어떻게 나뉘는가?

주요 결과

• 균일 양성 하한 하에서 깊이 7, 너비 O(n+9)의 SignReLU 네트워크가 f1/f2를 오차가 M^{-1}n^{-1/2-3/(2d)}로 근사한다.
• DDPM 역과정에 대한 SignReLU 기반 신경망 추정기를 구성할 수 있으며 명시적 오차 분해가 있다.
• 초과 KL 위험은 근사 오차 항과 유한 샘플 크기 m에 연계된 추정 오차 항으로 특징지어진다.
• 프로포지션은 얕은 SignReLU 넷으로 커널 유도 주변 분포를近似하고 나눗셈 게이트 구현을 보여준다.
• 확산 모델 분석은 순방향-역방향 과정의 차이에 대한 경계를 제공하고 비율 형태의 Bayes 예측자와의 연결을 보인다.