[論文レビュー] Rates of convergence for nonparametric estimation of singular distributions using generative adversarial networks

Lee, Jeyong, Kwon, Hyeok Kyu+1 more|arXiv (Cornell University)|Feb 7, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿は、低次元多様体上に支持される特異的分布の非パラメトリック推定において、生成対抗ネットワーク（GAN）の収束速度を確立する。深層生成モデルに加法的ガウスノイズを仮定したもとで、Wasserstein-1距離におけるGAN推定量の収束速度を導出し、それが内因的次元、滑らかさ、ノイズレベルにのみ依存することを示した。これは尤度に基づく手法を上回り、ミニマックス最適レートに近い性能を示す。

ABSTRACT

It is common in nonparametric estimation problems to impose a certain low-dimensional structure on the unknown parameter to avoid the curse of dimensionality. This paper considers a nonparametric distribution estimation problem with a structural assumption under which the target distribution is allowed to be singular with respect to the Lebesgue measure. In particular, we investigate the use of generative adversarial networks (GANs) for estimating the unknown distribution and obtain a convergence rate with respect to the $L^1$-Wasserstein metric. The convergence rate depends only on the underlying structure and noise level. More interestingly, under the same structural assumption, the convergence rate of GAN is strictly faster than the known rate of VAE in the literature. We also obtain a lower bound for the minimax optimal rate, which is conjectured to be sharp at least in some special cases. Although our upper and lower bounds for the minimax optimal rate do not match, the difference is not significant.

研究の動機と目的

• 特異的分布（低次元多様体上に集中する）のGANベース推定量の統計的収束速度を分析すること。
• 変分オートエンコーダーなどの尤度ベース手法（例：VAE）と比較して、非パラメトリック分布推定におけるGANの性能を評価すること。
• Wasserstein-1距離における推定誤差のミニマックス下界を導出することにより、最適性を評価すること。
• 訓練の不安定さにもかかわらず、実世界応用におけるGANの経験的成功の理論的裏付けを提供すること。
• 内因的次元、滑らかさ、ノイズレベルが推定効率に与える影響を調査すること。

提案手法

• データを非線形要因モデルとしてモデル化：$\mathbf{X}_i = \mathbf{g}_0(\mathbf{Z}_i) + \boldsymbol{\epsilon}_i$、ここで $\mathbf{Z}_i \sim P_Z$ は $[0,1]^d$ 上にあり、$\boldsymbol{\epsilon}_i \sim \mathcal{N}(\mathbf{0}_D, \sigma_0^2 \mathbf{I}_D)$ である。
• 真のデータ生成分布 $P_0 = Q_{\mathbf{g}_0} * \mathcal{N}(\mathbf{0}_D, \sigma_0^2 \mathbf{I}_D)$ を仮定し、$Q_{\mathbf{g}_0}$ がLebesgue測度に対して特異的であることを仮定する。
• 推定された写像測度と真の写像測度の間のWasserstein-1距離 $W_1(\hat{Q}, Q_0)$ を用いてGAN推定量を分析する。
• 収束速度の上界を導出： Hölder滑らかさを持つ生成器 $\mathbf{g}_0 \in \mathcal{H}_K^\beta([0,1]^d)^D$ の場合、$n^{-\frac{\beta}{2\beta + d - 2}}$ となる。このレートは滑らかさ $\beta$、内因的次元 $d$、標本サイズ $n$ に依存する。
• Fanoの不等式を適用してミニマックス下界を確立：$\mathfrak{M}(\mathcal{G}_0, \sigma_0) \gtrsim n^{-\frac{\beta}{2\beta + d - 2}}$ であり、$\sigma_0$ に依存しない。
• 生成モデルを最適輸送理論と結びつけ、Brenier写像により $\beta$-Hölder生成器が $\beta-1$-Hölder密度に対応することを示し、レート最適性の仮説を支持する。

(a) $\phi(z)$

実験結果

リサーチクエスチョン

• RQ1 低次元多様体上に支持される特異的分布のためのGANベース推定量の収束速度は何か？
• RQ2 VAEなどの尤度ベース手法との比較において、GANの収束速度はどのように異なるか？
• RQ3 Wasserstein-1距離におけるこのような特異的分布の推定に対するミニマックス最適レートは何か？
• RQ4 GAN推定量はミニマックス下界に達することができるか？その条件は何か？
• RQ5 内因的次元、生成器の滑らかさ、ノイズレベルは推定レートにどのように影響するか？

主な発見

• GAN推定量はWasserstein-1距離において $n^{-\frac{\beta}{2\beta + d - 2}}$ の収束速度を達成し、滑らかさ $\beta$、内因的次元 $d$、標本サイズ $n$ のみに依存する。
• このレートは尤度ベース手法の収束速度を上回り、実世界応用におけるGANの経験的優位性の理論的裏付けを提供する。
• ミニマックス下界 $\mathfrak{M}(\mathcal{G}_0, \sigma_0) \gtrsim n^{-\frac{\beta}{2\beta + d - 2}}$ が確立され、GANのレートがほぼ最適であることを示している。
• 下界はノイズレベル $\sigma_0$ に依存しないため、レートが根本的な多様体構造と滑らかさに支配されることを示している。
• 最適輸送理論と密度推定の先行研究との関連に基づき、下界が鋭く、改善できないと仮説を立てている。
• 理論的枠組みにより、生成モデルと最適輸送理論がBrenier写像を通じて結びつけられ、$\beta$-Hölder生成器が $\beta-1$-Hölder密度に対応することを示し、両設定間のレート同等性を支持している。

(b) $\phi^{\prime}(z)$