[論文レビュー] Rates of convergence for density estimation with generative adversarial networks

Puchkin, Nikita, Samsonov, Sergey+3 more|arXiv (Cornell University)|Jan 30, 2021

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 8

ひとこと要約

この論文は、バニラ生成対抗ネットワーク（GAN）を用いた密度推定における非漸近的収束速度を確立し、真の密度とGAN推定値の間のジェンセン・シャノン発散が $(\log n / n)^{2\beta/(2\beta + d)}$ の割合で減少することを証明している。これは滑らかさのある密度関数に対して最小最大最適レートと対数要因を除いて一致する。解析は改善されたオラクル不等式に依拠し、ソボレフ型の滑らかさ仮定の下で統計的最適性を確立している。

ABSTRACT

In this work we undertake a thorough study of the non-asymptotic properties of the vanilla generative adversarial networks (GANs). We prove an oracle inequality for the Jensen-Shannon (JS) divergence between the underlying density $\mathsf{p}^*$ and the GAN estimate with a significantly better statistical error term compared to the previously known results. The advantage of our bound becomes clear in application to nonparametric density estimation. We show that the JS-divergence between the GAN estimate and $\mathsf{p}^*$ decays as fast as $(\log{n}/n)^{2β/(2β+ d)}$, where $n$ is the sample size and $β$ determines the smoothness of $\mathsf{p}^*$. This rate of convergence coincides (up to logarithmic factors) with minimax optimal for the considered class of densities.

研究の動機と目的

• バニラGANの密度推定における非漸近的統計的性質を分析すること。
• より良い誤差バウンドを備えたGANにおけるジェンセン・シャノン発散の鋭いオラクル不等式を確立すること。
• GANに基づく密度推定子の収束レートを導出し、最小最大最適レートと比較すること。
• Sobolevクラスに属する密度関数に対して、GAN推定子が最小最大レート（対数要因を除いて）を達成できることを示すこと。

提案手法

• 真の密度 $\mathsf{p}^*$ とGAN推定値の間のジェンセン・シャノン発散に対するオラクル不等式を導出し、先行研究よりもタイトな統計的誤差項を備える。
• 生成器および識別器のパラメータに対する経験的リスク最小化を用いて、GANのミニマックス目的関数 $L_n(w,\theta)$ を分析する。
• 生成器および識別器の族に滑らかさ条件を課し、それらがソボレフ型クラスに属し、滑らかさパラメータ $\beta$ を持つと仮定する。
• 密度差の $L_2$ ノルムに基づく下界構築を用いて、最小最大最適性を確立する。
• コーシー・シュワルツの不等式と集中不等式を用い、既知の不等式を通じて $L_2$ リスクとJS発散を関連付ける。
• JS発散が $L_2$ ノルムの二乗の定数倍で下から有界であるという事実を活用し、$L_2$ レートからJS発散へのレートの転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 真の密度とGAN推定値の間のジェンセン・シャノン発散の非漸近的収束レートは何か？
• RQ2 滑らかさ仮定の下で、GAN推定子は非パラメトリック密度推定における最小最大最適レートに達することができるか？
• RQ3 GAN目的関数における統計的誤差は、密度推定の最適レートと比べてどの程度か？
• RQ4 GANにおけるオラクル不等式は、対数要因を除いて最小最大下界と一致するレートをもたらすか？
• RQ5 生成器および識別器の滑らかさが、最適収束レートの達成に果たす役割は何か？

主な発見

• 真の密度 $\mathsf{p}^*$ とGAN推定値の間のJS発散は、$(\log n / n)^{2\beta/(2\beta + d)}$ のレートで減少し、Sobolev滑らかさを持つ密度関数に対して最小最大最適レートと対数要因を除いて一致する。
• 統計的誤差項が著しく改善された、GANのための新しいオラクル不等式を確立した。これにより、よりタイトな収束バウンドが可能になった。
• 収束レートは、同じ滑らかさ仮定の下で、いかなる密度推定子もより速いレートを達成できないという意味で最小最大最適である。
• 下界構築により、任意の推定子の $L_2$ リスクが $C_d n^{-2\beta/(2\beta + d)}$ で下から有界であることが示され、レートの鋭さが確認された。
• JS発散は $L_2$ ノルムの二乗の定数倍で下から有界であるため、$L_2$ レートをJS発散に転送できる。
• 識別器クラスがパラメトリック族に制限されても、最適識別器を十分に近似できる十分に豊かなクラスであれば、結果は依然として成り立つ。