[論文レビュー] Understanding Diffusion Models via Ratio-Based Function Approximation with SignReLU Networks

Luwei Sun, Dongrui Shen+3 more|arXiv (Cornell University)|Jan 29, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

論文は SignReLU ネットワークを用いた比型関数als f1/f2 の近似理論を構築し、拡散モデルへ適用、DDPM に対する有限サンプル過剰KLリスク境界を導出する。

ABSTRACT

Motivated by challenges in conditional generative modeling, where the target conditional density takes the form of a ratio f1 over f2, this paper develops a theoretical framework for approximating such ratio-type functionals. Here, f1 and f2 are kernel-based marginal densities that capture structured interactions, a setting central to diffusion-based generative models. We provide a concise proof for approximating these ratio-type functionals using deep neural networks with the SignReLU activation function, leveraging the activation's piecewise structure. Under standard regularity assumptions, we establish L^p(Omega) approximation bounds and convergence rates. Specializing to Denoising Diffusion Probabilistic Models (DDPMs), we construct a SignReLU-based neural estimator for the reverse process and derive bounds on the excess Kullback-Leibler (KL) risk between the generated and true data distributions. Our analysis decomposes this excess risk into approximation and estimation error components. These results provide generalization guarantees for finite-sample training of diffusion-based generative models.

研究の動機と目的

• ターゲットがカーネル誘導マarginals に結びついた密度比 form f1/f2 を取る条件付き密度推定を動機付ける。
• SignReLU ネットワークを用いた比型関数の厳密な近似枠組みを開発する。
• フレームワークを拡散モデルへ特化させ、逆過程の SignReLU ベース推定量を構築する。
• 近似誤差と推定誤差の分解により有限サンプルの過剰 KL リスク境界を導出する。

提案手法

• カーネル誘導マ marginals を用いた比関数クラス f1/f2 を定義する。
• f1 および f2 を近似するために SignReLU ネットワークを用い、除算ゲートを組み合わせて比を近似する。
• f1 および f2 の一様正相性境界が与えられた場合の f1/f2 の近似境界を証明する。
• 拡散モデルへ結果を適用するために、逆過程の SignReLU ベース推定量を構築する。
• 前向きおよび後向き拡散過程を分析し、近似誤差と推定誤差で過剰 KL リスクを境界付けする。

実験結果

リサーチクエスチョン

• RQ1 カーネル誘導マ marginals から生じる比型関数 f1/f2 を安定性を制御しつつニューラルネットワークで近似するにはどうすればよいか。
• RQ2 SignReLU ネットワークはこれらの比を効率的に近似し、明示的な誤差境界を提供できるか。
• RQ3 この枠組みは DDPM のような拡散モデルに対して有限サンプル保証をもたらすか。
• RQ4 この設定における過剰 KL リスクの近似誤差と推定誤差の分解はどうなるか。

主な発見

• 深さ 7、幅 O(n+9) の SignReLU ネットワークが uniform positivity の下で f1/f2 を誤差 M^{-1} n^{-1/2-3/(2d)} で近似できる。
• DDPM の逆過程の SignReLU ベース推定量を構築でき、誤差を明示的に分解できる。
• 過剰 KL リスクは近似誤差項と有限サンプル数 m に結びつく推定誤差項によって特徴付けられる。
• 核誘導マ marginal densities を浅い SignReLU ネットと除算ゲートで近似することを示す命題。
• 拡散モデルの解析は前向き・後向き過程のずれの境界を与え、比 form の Bayes 推定子と関連づける。