[論文レビュー] An error analysis of generative adversarial networks for learning distributions

Jian Huang, Yuling Jiao+4 more|arXiv (Cornell University)|May 27, 2021

Generative Adversarial Networks and Image Synthesis参考文献 48被引用数 16

ひとこと要約

本稿は、確率分布の学習を目的とした生成対抗ネットワーク（GANs）の厳密な誤差解析を提供し、 Hölder 班に従う関数による定義される積分確率距離（IPM）の下で収束速度を確立している。GANs がネットワークアーキテクチャを適切に選択した場合、データの内在次元に依存する適応的学習速度を達成でき、高次元空間の次元に依存しないため、低次元構造に対して次元の呪いを回避できることを示している。

ABSTRACT

This paper studies how well generative adversarial networks (GANs) learn probability distributions from finite samples. Our main results establish the convergence rates of GANs under a collection of integral probability metrics defined through Hölder classes, including the Wasserstein distance as a special case. We also show that GANs are able to adaptively learn data distributions with low-dimensional structures or have Hölder densities, when the network architectures are chosen properly. In particular, for distributions concentrated around a low-dimensional set, we show that the learning rates of GANs do not depend on the high ambient dimension, but on the lower intrinsic dimension. Our analysis is based on a new oracle inequality decomposing the estimation error into the generator and discriminator approximation error and the statistical error, which may be of independent interest.

研究の動機と目的

• 有限サンプルからの確率分布の学習における GAN の一般化能力を理解すること。
• 低次元データ構造を考慮することで、既存の理論的解析における次元の呪いを解消すること。
• Wasserstein 距離を含む、積分確率距離（IPM）の下での GAN の収束速度を確立すること。
• ネットワークアーキテクチャを適切に設計した場合、Hölder 密度または低次元多様体上に支持される分布を GAN が適応的に学習できることを示すこと。

提案手法

• 推定誤差を生成器の近似誤差、識別器の近似誤差、統計的誤差に分解する新しいオラクル不等式を提案する。
• Hölder 班の関数によって定義される積分確率距離（IPM）の下での収束速度を分析する。
• Rademacher 複雑度とチェーン法を用いて、識別器クラスの擬似次元に基づいて統計的誤差項を評価する。
• 覆いの数と度数のエントロピーを用いて一般化境界を導出し、関数クラスの擬似次元と結びつける。
• データ分布が低次元多様体に近接している場合、収束速度が環境次元 $ D $ ではなく内在次元 $ d $ に依存することを確立する。
• Hölder スムーズ密度や低次元集合上に支持される分布といった特定のケースに理論を適用する。

実験結果

リサーチクエスチョン

• RQ1 GAN は、独立同分布の有限サンプルから、目的の確率分布をどのように収束させるのか？
• RQ2 データが低次元多様体上またはその周辺にある場合、GAN は次元の呪いを回避できるか？
• RQ3 生成器および識別器のネットワークアーキテクチャが、GAN の収束速度にどのように影響するか？
• RQ4 識別器クラスの選択（例：Hölder 班）が、GAN の一般化誤差に与える影響は何か？
• RQ5 推定誤差は近似誤差と統計的誤差に分解可能であり、それぞれの寄与度は何か？

主な発見

• Hölder 班に対する IPM における GAN の収束速度は、$ C B \sqrt{\frac{\text{Pdim}(\mathcal{F}) \log n}{n}} $ で抑えられ、ここで $ B $ は識別器関数の一様有界値、$ \text{Pdim}(\mathcal{F}) $ は識別器クラスの擬似次元である。
• 内在次元 $ d $ の低次元多様体上に支持される分布に対しては、GAN の収束速度は環境次元 $ D $ ではなく $ d $ に依存するため、次元の呪いを回避する。
• 目的分布が Hölder 密度を持つ場合、GAN は滑らかさ $ \beta $ が高くなるに従い、学習速度が向上する適応的学習速度を達成する。
• 一般化誤差は、生成器の近似誤差、識別器の近似誤差、統計的誤差の3つの成分に分解され、後者は Rademacher 複雑度によって評価される。
• 識別器クラスの擬似次元が有限の場合、統計的誤差は $ \sqrt{\frac{\text{Pdim}(\mathcal{F}) \log n}{n}} $ の速度で減少し、対数要因を除いて最適である。
• 解析により、GAN の経験的ミニマックス問題が一貫性を示すことが示された。これは、標本サイズが増加するにつれて、推定分布が真の分布に対して IPM 距離で収束することを意味する。