[論文レビュー] DeLiGAN : Generative Adversarial Networks for Diverse and Limited Data

Swaminathan Gurumurthy, Ravi Kiran Sarvadevabhatla+1 more|ePrints-IISc. (Indian Institute of Science Bangalore)|Jun 7, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 13

ひとこと要約

DeLiGANは、限られたデータ環境下での多様性と安定性を向上させるために、潜在空間を学習可能なガウス混合モデルに再パrameter化する新しいGANアーキテクチャを提案する。潜在空間をガウス混合モデルとして扱い、その成分の平均と分散を学習することで、手書き数字、オブジェクトの写真、スケッチなど多様なデータモダリティにおいて、限られた学習データでも多様で高品質なサンプルを生成する。従来のGANと比較して、多様性とサンプル品質の両面で優れた性能を示す。

ABSTRACT

A class of recent approaches for generating images, called Generative Adversarial Networks (GAN), have been used to generate impressively realistic images of objects, bedrooms, handwritten digits and a variety of other image modalities. However, typical GAN-based approaches require large amounts of training data to capture the diversity across the image modality. In this paper, we propose DeLiGAN -- a novel GAN-based architecture for diverse and limited training data scenarios. In our approach, we reparameterize the latent generative space as a mixture model and learn the mixture model's parameters along with those of GAN. This seemingly simple modification to the GAN framework is surprisingly effective and results in models which enable diversity in generated samples although trained with limited data. In our work, we show that DeLiGAN can generate images of handwritten digits, objects and hand-drawn sketches, all using limited amounts of data. To quantitatively characterize intra-class diversity of generated samples, we also introduce a modified version of "inception-score", a measure which has been found to correlate well with human assessment of generated samples.

研究の動機と目的

• 訓練データが限られる状況下で、多様で高品質な画像を生成する課題に対処すること。
• 特にマルチモーダルなデータ分布において、小規模なデータセットで学習するGANのサンプル多様性を向上させること。
• 潜在空間を混合モデルとしてモデル化することで、限られたデータ環境下でのGAN学習の安定性を向上させること。
• 生成サンプルのクラス内多様性を定量的に測定する指標を開発すること、従来のインセプションスコアを拡張すること。
• 最小限のデータで、手書き数字、実写のオブジェクト画像、スケッチといった多様なモダリティの画像を効果的に生成できること。

提案手法

• 潜在空間を、学習可能な平均と分散を持つガウス成分の混合モデルとして再パrameter化する。
• 成分の選択とそのサンプリングを微分可能にする機構を導入し、エンド・ツー・エンドのバックプロパゲーションを可能にする。
• 生成器と判別器とともに、混合モデルのパラメータ（平均、分散）を adversarial loss を用いて同時に学習する。
• 生成されたサンプルのクラス条件付きエントロピーを計算することで、クラス内多様性を測定する修正インセプションスコアを用いる。
• 従来のGAN研究で用いられるミニバッチ識別やその他の訓練安定化手法を適用し、学習ダイナミクスを改善する。
• 混合モデルを用いて潜在空間内のデータの欠落領域（voids）を暗黙的にモデル化し、低品質または代表的でないサンプルの生成を回避する。

実験結果

リサーチクエスチョン

• RQ1 限られた学習データ下で、潜在空間に学習可能な混合モデルを導入することで、GAN生成サンプルの多様性が向上するか？
• RQ2 DeLiGANは、最小限の学習データで、異なる画像モダリティ（手書き数字、オブジェクト画像、スケッチ）に対して多様なサンプルを効果的に生成できるか？
• RQ3 修正インセプションスコアは、特に限られたデータ環境下で、生成サンプルのクラス内多様性を効果的に定量化できるか？
• RQ4 潜在空間における混合モデルの導入により、限られたデータ環境下での訓練の安定性が向上し、モード崩壊が軽減されるか？
• RQ5 データが乏しい、あるいは多様性の高いデータセットにおいて、DeLiGANは標準GANと比較して、サンプル品質と多様性の両面で優れているか？

主な発見

• MNISTデータセットにおいて100枚の学習画像のみでDeLiGANは、ベースラインGANと比較して、より広範な数字のスタイルを生成し、多様性が顕著に向上した。
• CIFAR-10データセットで1000枚の画像を用いた場合、DeLiGANは標準GANよりもより現実的で多様なオブジェクト画像を生成し、モード崩壊の頻度も低減した。
• スケッチデータに対しては、DeLiGANが1.79 ± 0.18の修正インセプションスコアを達成し、ベースラインGANの1.61 ± 0.13を上回った。これは5つの異なるカテゴリで評価された結果である。
• 限られたデータ環境下でも、非数字的または低品質な出力が極めて稀にしか生成されず、無効な出力の発生が著しく減少した。
• 潜在空間における学習済みの混合成分は、低確率の領域を自然に避けるため、より一貫性があり現実的なサンプルが得られた。
• 修正インセプションスコアは人間の評価と良好に相関し、特に限られたデータ環境下でクラス内多様性を効果的に捉えていた。