[論文レビュー] Nonparametric Density Estimation under Adversarial Losses

Shashank Singh, Ananya Uppal+4 more|arXiv (Cornell University)|May 22, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 23

ひとこと要約

本稿は、Wasserstein距離、MMD、Total Variationなどの敵対的損失の下で非パラメトリック密度推定のミニマックス収束速度を確立する。分布の滑らかさと損失構造の相互作用を分析し、直交級数推定器を用いて鋭い上界と下界を導出。滑らかさが推定速度を向上させることを示し、最適に訓練されたGANの一般化誤差を同定する。

ABSTRACT

We study minimax convergence rates of nonparametric density estimation under a large class of loss functions called "adversarial losses", which, besides classical $\mathcal{L}^p$ losses, includes maximum mean discrepancy (MMD), Wasserstein distance, and total variation distance. These losses are closely related to the losses encoded by discriminator networks in generative adversarial networks (GANs). In a general framework, we study how the choice of loss and the assumed smoothness of the underlying density together determine the minimax rate. We also discuss implications for training GANs based on deep ReLU networks, and more general connections to learning implicit generative models in a minimax statistical sense.

研究の動機と目的

• 古典的非パラメトリック統計とGANのような現代的暗黙的生成モデルの間のギャップを埋めるために、ミニマックス統計枠組みの中で敵対的損失を分析すること。
• 損失関数の選択（例：MMD、Wasserstein）と真の密度の滑らかさが、ミニマックス収束速度に与える影響を特定すること。
• 完全最適化下での深層ReLUネットワークを用いたGANの一般化誤差に対する理論的境界を提供すること。
• ミニマックスリスクの観点から、明示的密度推定と暗黙的生成モデルの統計的関係を明確にすること。

提案手法

• 敵対的損失を、$ d_{\mathcal{F}_D}(P,Q) = \sup_{f \in \mathcal{F}_D} |\mathbb{E}_P[f] - \mathbb{E}_Q[f]| $ の形で定式化し、$ \mathcal{F}_D $ を有界かつ可測関数の族とする。
• $ \mathcal{L}^2 $ における直交級数推定器を用いてミニマックス収束速度を分析し、正規直交基底（例：フーリエまたはウェーブレット）における係数の減衰率を滑らかさの主要な指標とする。
• 内積構造を $ \mathcal{F}_D $ や $ \mathcal{F}_G $ に要求しない形で、基底係数の減衰率に基づく推定誤差の一般化された上界と下界を導出する。
• Yarotskyのニューラルネットワーク近似結果を応用し、完全最適化されたGANの誤差を制限する。滑らかさが収束速度の向上を可能にすることを示す。
• フーリエ基底推定器を用いた合成実験を通じて理論的境界を実証し、パラメトリックな状況では $ n^{-1/2} $、非パラメトリックな状況では $ n^{-1/3} $ の収束速度を示す。

実験結果

リサーチクエスチョン

• RQ1 敵対的損失（例：MMD、Wasserstein、$ \mathcal{L}^p $）の選択と真の密度の滑らかさが、密度推定におけるミニマックス収束速度にどのように依存するか。
• RQ2 一般敵対的損失の下で、直交級数推定器がミニマックス最適なレートを達成可能か。また、基底関数の減衰率がこれらのレートに果たす役割は何か。
• RQ3 深層ReLU生成器と識別器を用いて完全最適化されたGANの一般化誤差は何か。また、標本サイズと滑らかさに応じてどのようにスケーリングされるか。
• RQ4 明示的密度推定におけるミニマックスレートと暗黙的生成モデルにおけるミニマックスレートの関係は何か。特に統計的リスクの観点から。

主な発見

• 真の密度の滑らかさが高くなるほど、正規直交基底におけるその係数の減衰率で測定される敵対的損失のミニマックス収束速度が向上する。
• 本稿は、推定誤差の一致する上界と下界を確立し、一般敵対的損失の下で直交級数推定器がミニマックス最適性を達成することを示している。
• 固定された基底次元のパラメトリックな設定では、ミニマックスレートは $ n^{-1/2} $ であり、これは実験結果とよく一致する。
• 標本サイズに伴い有効な基底要素の数が増加する非パラメトリックな状況では、予測されるレートは $ n^{-1/3} $ であり、これは実証的に裏付けられている。
• 真の密度が一様に下から有界である場合、古典的統計における $ \mathcal{L}^2 $-ベースのミニマックスレートが適用可能となり、敵対的損失と古典的 $ \mathcal{L}^2 $ 推定を結びつける。
• 滑らかさの仮定の下で、完全最適化されたGANの一般化誤差は $ O(n^{-1/3}) $ で上界が与えられ、これはニューラルネットワーク近似理論と主な理論的境界から導出される。