[論文レビュー] GDPP: Learning Diverse Generations Using Determinantal Point Process

Mohamed Elfeki, Camille Couprie+2 more|arXiv (Cornell University)|Nov 30, 2018

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 8

ひとこと要約

本稿では、生成モデルにおけるモード崩壊を軽減するために、決定的ポイントプロセス（DPP）に基づく新しい教師なし損失、GDPPを提案する。この手法は、生成サンプルの多様性を促進することで、訓練の安定性と生成品質を向上させる。訓練可能なパラメータを追加せず、CIFAR-10、MNIST、CelebAの各データセットで、最も近い競合手法と比較して5.8倍高速な訓練速度を達成した。

ABSTRACT

Generative models have proven to be an outstanding tool for representing high-dimensional probability distributions and generating realistic-looking images. An essential characteristic of generative models is their ability to produce multi-modal outputs. However, while training, they are often susceptible to mode collapse, that is models are limited in mapping input noise to only a few modes of the true data distribution. In this work, we draw inspiration from Determinantal Point Process (DPP) to propose an unsupervised penalty loss that alleviates mode collapse while producing higher quality samples. DPP is an elegant probabilistic measure used to model negative correlations within a subset and hence quantify its diversity. We use DPP kernel to model the diversity in real data as well as in synthetic data. Then, we devise an objective term that encourages generators to synthesize data with similar diversity to real data. In contrast to previous state-of-the-art generative models that tend to use additional trainable parameters or complex training paradigms, our method does not change the original training scheme. Embedded in an adversarial training and variational autoencoder, our Generative DPP approach shows a consistent resistance to mode-collapse on a wide variety of synthetic data and natural image datasets including MNIST, CIFAR10, and CelebA, while outperforming state-of-the-art methods for data-efficiency, generation quality, and convergence-time whereas being 5.8x faster than its closest competitor.

研究の動機と目的

• 生成モデルにおけるモード崩壊を解消すること。これは、生成器がデータの限定的なバリエーションしか生成しないという一般的な失敗モードである。
• 元のモデルアーキテクチャを変更せずに、生成サンプルの多様性を明示的に促進する訓練目的を構築すること。
• 追加の訓練可能なコンponentsや複雑な訓練スキームを必要としない、教師なしの方法で動作する損失関数を設計すること。
• 合成および実世界の画像ベンチマークを含む多様なデータセットにおいて、訓練の安定性、生成品質、データ効率の向上を図ること。
• モデルに依存しない方法であり、GANやVAEなどのさまざまな生成フレームワークと互換性を持つこと。

提案手法

• 事前学習済みの識別器またはエンコーダから抽出した深層特徴を用いて、データバッチの多様性を表すDPPカーネルを定義する。
• 実データバッチおよび生成データバッチの両方について、DPPカーネルの固有値と固有ベクトルを計算する。
• 実データと生成データのDPPカーネルの固有値および固有ベクトルの差を最小化するペナルティ損失を定式化する。
• 標準の敵対的またはVAE訓練目的に、このDPPに基づく多様性損失を追加項として統合する。
• 生成器を介してDPP損失をバックプロパゲートし、実データと同様の多様性パターンを持つサンプルを生成するよう促進する。
• 元のモデルの訓練パラダイム（例：DCGAN、VAE）を維持し、追加の訓練可能なパラメータを追加せず、最適化ダイナミクスを変更しない。

実験結果

リサーチクエスチョン

• RQ1 DPPに基づく多様性指標は、生成モデルの正則化に効果的に用いられ、モード崩壊を低減できるか？
• RQ2 異なるデータセットにおいて、提案手法のGDPP損失は、既存手法と比較して生成品質および訓練安定性に優れているか？
• RQ3 追加の訓練可能なコンponentsを必要とせず、データ効率および収束速度の向上が達成できるか？
• RQ4 アーキテクチャの変更なしに、GANやVAEを含むさまざまなアーキテクチャに一般化可能か？
• RQ5 実データと生成データのDPPカーネルの固有構造を一致させることで、モードカバレッジおよびサンプルの多様性がどの程度向上するか？

主な発見

• CelebA（64×64解像度）において、GDPP-GANはスライスド・ワサーラインスコア（SWD）を平均0.0163、最小0.0075を達成し、WGAN-GP（平均0.0186）およびDCGAN（平均0.0906）を上回った。
• CIFAR-10では、DCGANにGDPPを追加することで訓練が安定化し、初期段階から高品質な生成が可能になった。これは、一貫したインセプションスコアの上昇によって裏付けられた。
• GDPP-GANはモード崩壊の深刻さを軽減しており、ベースラインモデルと比較して、実画像とその最も近い生成画像との間の再構成誤差（MSE）が低かった。
• 生成品質およびモードカバレッジを維持または向上させながら、最も近い競合手法と比較して5.8倍高速な速度を達成した。
• MNIST、CIFAR-10、CelebAの全データセットで、GDPPは一貫して性能を向上させ、合成および実世界のデータセットの両方で堅牢性を示した。
• GDPP損失は敵対的訓練およびVAEフレームワークの両方で有効であり、さまざまな生成モデルアーキテクチャへの一般化能力が強く示された。