[論文レビュー] Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses

Ananya Uppal, Shashank Singh+1 more|arXiv (Cornell University)|Feb 9, 2019

Statistical Methods and Inference被引用数 9

ひとこと要約

本稿は、Lp、全変動、 Wasserstein、Kolmogorov-Smirnov距離を統合するBesov積分確率度量（IPM）の下で、非パラメトリック密度推定のミニマックス収束速度を確立する。GANsがReLUニューラルネットワークを用いてBesov分布を学習することで、カーネル密度推定や経験分布といった線形推定器よりも優れた性能を示し、特に不均一な滑らかさ条件の下で顕著である。

ABSTRACT

We study the problem of estimating a nonparametric probability density under a large family of losses called Besov IPMs, which include, for example, $\mathcal{L}^p$ distances, total variation distance, and generalizations of both Wasserstein and Kolmogorov-Smirnov distances. For a wide variety of settings, we provide both lower and upper bounds, identifying precisely how the choice of loss function and assumptions on the data interact to determine the minimax optimal convergence rate. We also show that linear distribution estimates, such as the empirical distribution or kernel density estimator, often fail to converge at the optimal rate. Our bounds generalize, unify, or improve several recent and classical results. Moreover, IPMs can be used to formalize a statistical model of generative adversarial networks (GANs). Thus, we show how our results imply bounds on the statistical error of a GAN, showing, for example, that GANs can strictly outperform the best linear estimator.

研究の動機と目的

• Lp、全変動、Wasserstein距離を含む広範なIPM損失クラスにおける非パラメトリック密度推定の収束速度バウンドを統一的かつ一般化すること。
• GANの統計的枠組みをIPM最小化として形式化し、GANの訓練をBesov滑らかさ下での分布推定と結びつけること。
• ReLUネットワークを用いたGANが、Besov密度推定においてミニマックス最適な収束速度に到達できることを示すこと。線形推定器を上回ることを確認すること。
• 損失関数の滑らかさ、データの正則性、推定誤差の間の相互作用を特徴付ける鋭いミニマックス下界と上界を導出すること。

提案手法

• 多スケール解析（MRA）とウェーブレット分解を用いて、密度およびIPM双対をウェーブレット係数の観点から表現する。
• Besovノルムにおけるバイアス・バリアンス分解を用いてミニマックスリスクを分析し、バイアス、バリアンス、近似誤差の寄与を区別する。
• 大偏差およびモーメントバウンドを用いて、IPMリスク分解における確率的項を制御する。
• Suzukiの最近の結果（ReLUネットワークによるBesov関数の近似）を活用し、生成器および識別器の近似誤差をバウンドする。
• 正則化された経験分布（ePn）を用いたEmpirical IPM最小化の解としてGAN推定器を構築し、GANを分布推定として形式化する。
• IPMリスクにおけるバイアス（滑らかさによる）、バリアンス（標本サイズによる）、近似誤差（ネットワーク容量による）のバランスを取ることで収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 LpやWasserstein距離を含む広範なIPM損失クラスの下で、非パラメトリック密度推定のミニマックス最適収束速度は何か？
• RQ2 真の密度の滑らかさパラメータ（σg, pg, qg）と損失関数の滑らかさパラメータ（σd, pd, qd）が、最適推定速度にどのように寄与するか？
• RQ3 ReLUネットワークを用いたGANは、Besov密度推定においてミニマックス最適な収束速度に到達できるか？その場合、ネットワークの幅・深さにどのような条件が必要か？
• RQ4 なぜカーネル密度推定や経験分布といった線形推定器は、不均一な滑らかさの下で最適な収束速度に到達できないのか？
• RQ5 GANの訓練において正則化された経験分布（ePn）を用いることで、標準的な経験分布に比べて統計的性能がどのように向上するのか？

主な発見

• Besov IPMにおけるBesov密度推定のミニマックス収束速度はΘ(n^{-σg/(2σg+D)})であり、真の密度の滑らかさσgと次元Dに依存する。
• 真の密度に不均一な滑らかさ（例：σg < D/pg）がある場合、カーネル密度推定や経験分布といった線形推定器は、最適でないバイアス・バリアンストレードオフのため、最適な収束速度に到達できない。
• ReLUネットワークを用いたGANは、近似誤差、統計誤差、一般化誤差を同時に最小化することで、ミニマックス最適な収束速度に到達できる。
• 生成器ネットワークの幅Wg ≲ ϵ^{-D/σg}および深さHg ≲ log(1/ϵ)の条件を満たすとき、最適な収束速度が達成され、識別器に対しても同様のスケーリングが成立する。
• GANの統計誤差はdFd(bp, p) ≲ ϵ + dFd(epn, p)とバウンドされ、GANが最良の正則化済み経験推定器の誤差に一致しつつ、より優れた近似性能を達成できることを示している。
• ミニマックスリスクに対する下界はn^{-(σg+σd−D/pg+D/p′d)/(2σg−2D/pg+2D/p′d+D)}のオーダーであり、対数要因を除いて上界と一致し、収束速度の最適性が確認された。