[論文レビュー] AdaGAN: Boosting Generative Models

Ilya Tolstikhin, Sylvain Gelly+3 more|arXiv (Cornell University)|Jan 9, 2017

Generative Adversarial Networks and Image Synthesis被引用数 146

ひとこと要約

AdaGANは、再重み付けされたデータ上でGANコンポーネントを反復的に訓練することで強力な生成モデルを構築し、データモードをより多くカバーする加法的混合を形成し、最適なステップの下で真の分布へ収束します。理論的な収束性と、GANの欠損モード问题への実用性を提供します。

ABSTRACT

Generative Adversarial Networks (GAN) (Goodfellow et al., 2014) are an effective method for training generative models of complex data such as natural images. However, they are notoriously hard to train and can suffer from the problem of missing modes where the model is not able to produce examples in certain regions of the space. We propose an iterative procedure, called AdaGAN, where at every step we add a new component into a mixture model by running a GAN algorithm on a reweighted sample. This is inspired by boosting algorithms, where many potentially weak individual predictors are greedily aggregated to form a strong composite predictor. We prove that such an incremental procedure leads to convergence to the true distribution in a finite number of steps if each step is optimal, and convergence at an exponential rate otherwise. We also illustrate experimentally that this procedure addresses the problem of missing modes.

研究の動機と目的

• GANの欠損モードに principled で自動的な方法を、加法的混合を用いて対処することを動機づける。
• 再重み付けデータ上で生成コンポーネントを徐々に追加するブースティング風のメタアルゴリズムを開発する。
• 混合アプローチに対するf-ダイバージェンスの下での理論的収束保証を提供する。

提案手法

• AdaGANを提案する：再重み付けデータ分布上で新しい生成器を反復的に訓練し、前の生成器と混合する混合重みβ_tを用いる。
• データ分布と成分分布の加法的混合との間のf-ダイバージェンスを最小化する問題としてモデル化する。
• 新しい成分Q_beta*またはQ_beta^†と重み付けβの選択を導く上限と最適性条件を導出する。
• 各ステップが完全に最適化されるとき、混合は真の分布へ収束し、特定の条件下で指数速で収束することを示す。
• 再重み付けサンプル上のGAN風の訓練として訓練を説明し、全体のモデルは成分インデックスを選択してその成分からサンプリングすることでサンプルを得る。

実験結果

リサーチクエスチョン

• RQ1 再加重したGANの系列を加法混合として組み合わせると、真のデータ分布を近似できるか。
• RQ2 一般的なf-ダイバージェンスの下でのAdaGAN混合の収束に対する理論的保証はどうなるか。
• RQ3 混合重みβ_tと再重み付けスキームを、急速な改善を保証し、再重み付けデータへの過適合を避けるようにどう選ぶべきか。
• RQ4 AdaGANは標準的なGANで観察される欠損モード問題を効果的に緩和するか。

主な発見

• AdaGANは、再重み付けデータで訓練された生成器の混合を作成し、これまで欠落していたモードをカバーする。
• フレームワークには収束保証があり：各ステップが最適であれば有限回のステップで真の分布へ収束する。それ以外の場合は指数速で収束する。
• 上限は新しい成分の追加がf-ダイバージェンスを改善することを示し、最適なQ_beta*またはQ_beta^†は特定のf-ダイバージェンスに依存せずに特徴づけられる。
• 経験的な例は、ハードな例を強調するよう訓練サンプルを再重みによって重視することで欠損モードに対処することを示している。
• この手法はGAN以外の様々なベース生成器と組み合わせ可能なメタアルゴリズムとして実証されているが、議論はGANに焦点を当てている。