[論文レビュー] Semi-Supervised Learning with Generative Adversarial Networks

Augustus Odena|arXiv (Cornell University)|Jun 5, 2016

Generative Adversarial Networks and Image Synthesis参考文献 9被引用数 542

ひとこと要約

識別器が N+1 クラスを出力するようにすることで GAN を半教師あり学習へ拡張し（N 個の実クラス plus に偽クラスを追加）、分類器と生成器の共同訓練を可能にし、データ効率の良い分類とより高品質なサンプルを実現する。

ABSTRACT

We extend Generative Adversarial Networks (GANs) to the semi-supervised context by forcing the discriminator network to output class labels. We train a generative model G and a discriminator D on a dataset with inputs belonging to one of N classes. At training time, D is made to predict which of N+1 classes the input belongs to, where an extra class is added to correspond to the outputs of G. We show that this method can be used to create a more data-efficient classifier and that it allows for generating higher quality samples than a regular GAN.

研究の動機と目的

• 生成モデルを学習しつつ半教師あり分類を行う方法の動機付けと開発。
• 識別器が real/fake に加えてクラスラベルを出力できるようにし、G, D, C の共有表現を作成する。
• MNIST での G-D-C の共同訓練からデータ効率の向上とサンプル品質の改善を示す。

提案手法

• GAN の識別器を N+1 出力に拡張し、N 個の実クラスと FAKE クラスに対応させる。
• データの観測ラベルに対する負の対数尤度を最小化するように D/C を訓練し、生成サンプルには FAKE ラベルを与える; G は D/C の精度を最大化するように訓練する。
• 識別と分類のタスクで重みを共有する単一のネットワークアーキテクチャを使用する（D が C として機能する）。
• オプションとして、生成器を更新しないベースライン分類器と SGAN を比較する。
• データ利用可能性を変化させたときの MNIST での生成品質と分類精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 GAN の識別器を拡張して半教師あり学習のための明示的なクラスラベルを出力することができるか。
• RQ2 ラベル付きデータが限られている場合、識別と分類の重み共有は MNIST のデータ効率を改善するか。
• RQ3 G-D-C の結合訓練は標準的な GAN より高品質なサンプルとより速い生成器の訓練をもたらすか。
• RQ4 真のクラスラベルを用いる場合と REAL/FAKE ラベルのみを用いる場合の SGAN の性能はどう比較されるか。
• RQ5 半教師あり学習のフレームワークとしての SGAN の実用的な利点と制約は何か。

主な発見

Examples	CNN	SGAN
1000	0.965	0.964
100	0.895	0.928
50	0.859	0.883
25	0.750	0.802

• SGAN の出力は、初期化に関係なく MNIST の標準的な GAN サンプルよりもはるかに鮮明である。
• ラベル付きデータが減少するにつれて、生成器の更新を行わないベースライン分類器を上回り、データ効率の改善を示す。
• 制限されたトレーニングデータの下で、SGAN はベースラインより高い分類精度を維持する。
• 分類精度の例は、データ量が少ない場合に SGAN が CNN ベースラインより高い精度を達成することを示している。