[論文レビュー] On the Statistical Capacity of Deep Generative Models

Edric Tam, David B. Dunson|ArXiv.org|Jan 14, 2025

Bayesian Methods and Mixture Models被引用数 3

ひとこと要約

本論文は、Gaussian のような共通潜在分布を持つ深層生成モデルは普遍的な生成器ではなく、出力が軽い尾を持つ分布へ集中し、重尾特性を持つターゲット分布を過小評価することを示す。次元に依存しない集中性の結果と、多様体および拡散モデルへの拡張を含む。

ABSTRACT

Deep generative models are routinely used in generating samples from complex, high-dimensional distributions. Despite their apparent successes, their statistical properties are not well understood. A common assumption is that with enough training data and sufficiently large neural networks, deep generative model samples will have arbitrarily small errors in sampling from any continuous target distribution. We set up a unifying framework that debunks this belief. We demonstrate that broad classes of deep generative models, including variational autoencoders and generative adversarial networks, are not universal generators. Under the predominant case of Gaussian latent variables, these models can only generate concentrated samples that exhibit light tails. Using tools from concentration of measure and convex geometry, we give analogous results for more general log-concave and strongly log-concave latent variable distributions. We extend our results to diffusion models via a reduction argument. We use the Gromov--Levy inequality to give similar guarantees when the latent variables lie on manifolds with positive Ricci curvature. These results shed light on the limited capacity of common deep generative models to handle heavy tails. We illustrate the empirical relevance of our work with simulations and financial data.

研究の動機と目的

• Implicit かつ高次元 Target からのサンプリングにおける深層生成モデルの統計的性質の研究を動機づける。
• Gaussian および関連する潜在変数の選択は軽尾出力をもたらし、普遍的近似という信念に挑戦する。
• 対数凸、強対数凸潜在変数および陽 Ricci 曲率を持つ多様体上の潜在変数に対する尾部集中性の結果を拡張する。
• 拡散モデルへの還元を提供し、広範な設定下で次元に依存しない集中保証を示す。

提案手法

• 潜在変数生成を x_i = f(z_i) + ε_i としてモデル化する。ここで z_i ~ P、ε_i ~ Q。適合したネットワークのリプシッツ性に焦点を当てる。
• Gaussian 潜在変数に対してサブガウス集中を証明：Pr(|u^T[ẑ(z)−E[ẑ(z)]| ≥ t) ≤ 2 exp(−t^2/C_p^2)。
• 対数凸潜在変数に対してサブエクスポネンシャル尾を持つ集中：Pr(|u^T[ẑ(z)−E[ẑ(z)]| ≥ t) ≤ 2 exp(−t/C_p)。
• 強対数凸性による強い尾部性の結果を確立し、γ に依存する境界を持つサブガウス尾を得る。
• 正の Ricci 曲率を持つ潜在変数多様体へ拡張し、Gromov-Levy 不等式を用いて Lipschitz 埋め込みを介してサブガウス集中を得る。
• 拡張拡散モデルの還元を提供し、拡張ガウスベクトル上の単一リプシッツ変換への還元を通じて X_0 のサブガウス尾を得る。

(a) Samples from bivariate Cauchy distribution centred at $0$ with identity scale matrix

実験結果

リサーチクエスチョン

• RQ1 共通の深層生成モデル（GAN、VAE）は、潜在変数がGaussian（または同様に単純）である場合に、任意の連続ターゲット分布を普遍的に近似するのか？
• RQ2 潜在変数がGaussian、対数凸、もしくは強対数凸分布に従うとき、生成写像はどのような尾部挙動を示すのか？
• RQ3 正の Ricci 曲率を持つ潜在変数多様体は、生成サンプルの集中特性にどう影響するのか？
• RQ4 拡散ベースの生成モデルは Lipschitz 集中性を通じて分析できるのか、Gaussian 潜在分布から軽尾の性質を受け継ぐのか？

主な発見

• Gaussian 潜在変数の場合、中心化出力 (ẑ)−E[ẑ] は任意の単位方向に対してサブガウシアンであり、尾が軽いことを示す。
• 対数凸および強対数凸潜在変数の場合、中心化出力は次元に依存しないか多項的対数依存でサブエクスポネンシャルまたはサブガウシアンである。
• 正の Ricci 曲率を持つ多様体上の潜在変数は、リプシッツ埋め込みを介して写像出力のサブガウシアン集中をもたらす。
• Gaussian 潜在変数を持つ拡散モデルでも、Augmented Gaussian ベクトル上の単一のリプシッツ変換への還元を通じて X_0 のサブガウシアン尾を得る。
• 数値シミュレーションと金融データは、GANs と拡散モデルが中心部をよく捉える一方、尾部挙動を過小評価することを示し、理論的な軽尾保証と一致する。
• 結果は、多くの深層生成モデルが重尾ターゲット分布の普遍的生成器ではなく、異常検知や金融のような応用における不確実性を過小評価する可能性を示唆する。

(b) Samples from fitted generative adversarial network