[論文レビュー] Improved Techniques for Training GANs

Tim Salimans, Ian Goodfellow+4 more|arXiv (Cornell University)|Jun 10, 2016

Generative Adversarial Networks and Image Synthesis被引用数 1,383

ひとこと要約

本論文は、GANの訓練を安定化させ、半教師あり学習を改善し、生成画像の視覚品質を高める新しいアーキテクチャの特徴と訓練手順を導入し、MNIST、CIFAR-10、SVHNで最新の結果を達成する。高解像度のImageNetサンプルを実証し、Inceptionベースの評価指標を提案する。

ABSTRACT

We present a variety of new architectural features and training procedures that we apply to the generative adversarial networks (GANs) framework. We focus on two applications of GANs: semi-supervised learning, and the generation of images that humans find visually realistic. Unlike most work on generative models, our primary goal is not to train a model that assigns high likelihood to test data, nor do we require the model to be able to learn well without using any labels. Using our new techniques, we achieve state-of-the-art results in semi-supervised classification on MNIST, CIFAR-10 and SVHN. The generated images are of high quality as confirmed by a visual Turing test: our model generates MNIST samples that humans cannot distinguish from real data, and CIFAR-10 samples that yield a human error rate of 21.3%. We also present ImageNet samples with unprecedented resolution and show that our methods enable the model to learn recognizable features of ImageNet classes.

研究の動機と目的

• GAN訓練の収束性と安定性を向上させる。
• GANを用いた半教師付き学習の性能を向上させる。
• 複数のデータセットにおいて高品質で知覚的に現実的な画像を生成する。
• GANを効果的に訓練するために実用的な手法を提供する。

提案手法

• 中間の識別器層で実データの統計を一致させる生成器目的として feature matching を導入する。
• ミニバッチ識別を実装し、識別器がミニバッチ内のサンプルを比較できるようにすることで生成器のモード崩壊を防ぐ。
• パラメータの実行平均からの偏差をペナルティ化することで学習を安定化させる historical averaging を使用する。
• データが不足している場合の問題を避けつつ、識別器を安定化させるために片側のラベル平滑化を適用する。
• 生成器におけるバッチ統計を個々のサンプル出力から分離する仮想バッチ正規化を導入する。
• Inception score を自動的かつ人間の判断と相関する画像品質と多様性の測度として提案する。

実験結果

リサーチクエスチョン

• RQ1 安定化手法（feature matching、minibatch discrimination、historical averaging、label smoothing、virtual batch normalization）がGANの収束とサンプル品質を改善できるか？
• RQ2 これらの手法はMNIST、CIFAR-10、SVHNで効果的な半教師付き学習を可能にし、ImageNet規模の生成を改善するか？
• RQ3 提案された Inception score は画像品質と多様性に関する人間の判断の信頼できる代理指標か？
• RQ4 新しい手法が既存のGANアーキテクチャとどのように相互作用して、大規模データセットで認識可能な特徴を生み出すか？

主な発見

• MNIST、CIFAR-10、SVHNで最先端の半教師付き分類結果を達成した。
• いくつかの設定でMNISTのサンプルは人間にとって実データと区別できず、CIFAR-10のサンプルは視覚的チューリングテストで人間のエラー率が21.3%を記録した。
• 前例のない解像度でImageNet様のサンプルを生成し、ImageNetクラスの認識可能な特徴を学習した。
• Inception score は人間の判断と相関し、生成画像の自動評価指標として拡張可能である。
• アブレーション研究により、ミニバッチ機能とラベル関連の手法がサンプル品質と多様性にとって重要であることが示された。
• 複数モデルのアンサンブルは半教師付き分類性能をさらに向上させる。