[論文レビュー] Semi-supervised Conditional GANs

Kumar Sricharan, Raja Bala+4 more|arXiv (Cornell University)|Aug 19, 2017

Generative Adversarial Networks and Image Synthesis参考文献 6被引用数 41

ひとこと要約

本稿では、ラベル付きデータとラベルなしデータを用いて周辺データ分布（marginal data distribution）と条件付き属性分布（conditional attribute distribution）を同時にモデル化する2段階の識別器を備えた、半教師あり条件付きGAN（SS-GAN）という新しいフレームワークを提案する。この手法により、半教師あり条件付き生成の性能が顕著に向上し、MNIST、CelebA、CIFAR-10の各データセットでAC-GAN、SC-GAN、SA-GANといった既存手法を上回る結果を得た。クラスあたり1つのラベル付きサンプルのみを用いても、ほぼ教師あり学習に近い性能を達成した。

ABSTRACT

We introduce a new model for building conditional generative models in a semi-supervised setting to conditionally generate data given attributes by adapting the GAN framework. The proposed semi-supervised GAN (SS-GAN) model uses a pair of stacked discriminators to learn the marginal distribution of the data, and the conditional distribution of the attributes given the data respectively. In the semi-supervised setting, the marginal distribution (which is often harder to learn) is learned from the labeled + unlabeled data, and the conditional distribution is learned purely from the labeled data. Our experimental results demonstrate that this model performs significantly better compared to existing semi-supervised conditional GAN models.

研究の動機と目的

• ラベル付きデータが極めて少ない半教師あり設定における条件付き生成モデル化の有効な手法の欠如に対処すること。
• 周辺データ分布と条件付き属性分布の学習を分離することで、一般化性能と生成サンプルの質を向上させること。
• ラベルなしデータを用いて周辺分布を学習すると同時に、条件付き生成のためのラベル情報を保持すること。
• 最小限のラベル付きデータで、完全教師ありモデルに近い性能を達成すること。

提案手法

• モデルは2段階のスタックされた識別器を採用する：周辺識別器（D_u）は、すべてのデータ（ラベル付き＋ラベルなし）を用いて本物対偽物画像を評価する。一方、条件付き識別器（D_s）は、ラベル付きデータのみを用いて、画像から本物対偽物の属性を評価する。
• 生成器は属性に条件づけられたサンプルを生成するが、敵対的損失は、(x,y)ペアのjointな分布と、生成画像からの属性再構成の両方に適用される。
• D_uの中間特徴をD_sに供給することで、D_sが広いデータ分布に基づいた判別的特徴を学習し、ラベル付きサンプルへの過学習を低減する。
• 訓練目的は、2つの識別器の敵対的損失を組み合わせたものであり、D_sは生成画像からの属性再構成に交差エントロピー損失を用いる。
• 有限のラベル付きデータ下での収束性が理論的に保証されており、半教師あり環境下での安定性を確保する。
• 本フレームワークはMNIST、CelebA、CIFAR-10に適用され、アブレーションスタディとしてAC-GAN、SC-GAN、SA-GANと比較された。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータを用いて、ラベルなしデータを効果的に活用する半教師あり条件付きGANフレームワークは、条件付き画像生成を改善できるか？
• RQ2 周辺分布と条件付き分布の学習を分離することで、モデルの性能と一般化能力にどのような影響を与えるか？
• RQ3 SS-GANは、スタックされた識別器アーキテクチャを採用しているが、訓練目的が異なるSA-GANを上回る理由は何か？
• RQ4 SS-GANは、最小限のラベル付きデータで、完全教師ありモデルの性能にどの程度近づけるか？

主な発見

• MNISTデータセットでは、クラスあたり1つのラベル付きサンプルのみを用いても、SS-GANは分類誤差0.299を達成し、SA-GAN（0.468）とSC-GAN（0.355）を上回った。
• CIFAR-10では、SS-GANは再構成誤差0.061を達成し、SA-GAN（0.173）とSC-GAN（0.213）を著しく下回り、完全教師ありのC-GAN（0.041）に近い性能を示した。
• 視覚的評価では、SS-GANの生成サンプルはモード崩壊が最小限であり、高品質であった。一方、AC-GAN、SC-GAN、SA-GANは深刻なモード崩壊を示した。
• CIFAR-10では、SS-GANのサンプル多様性スコアは6.54e-06であり、SC-GAN（0.999）を著しく上回り、C-GANやAC-GANと同等の水準に達した。
• CIFAR-10における識別器特徴誤差は、SS-GANが0.891を記録し、SA-GAN（0.874）とSC-GAN（0.870）を上回り、完全教師ありのC-GAN（0.874）に近い性能を示した。
• モデルは優れた一般化性能を示し、CIFAR-10におけるSS-GANの性能は、他のすべての半教師ありバージョンよりも完全教師ありベースラインに近かった。