[論文レビュー] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

Alec Radford, Luke Metz+1 more|arXiv (Cornell University)|Nov 19, 2015

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 6,984

ひとこと要約

DCGAN のアーキテクチャ制約を導入し、深層畳み込み GAN の安定した訓練を可能にする。判別器/生成器が階層的な画像表現を学習し、無監督および監督タスクに利用できることを示し、潜在空間の演算と可視化を探索する。

ABSTRACT

In recent years, supervised learning with convolutional networks (CNNs) has seen huge adoption in computer vision applications. Comparatively, unsupervised learning with CNNs has received less attention. In this work we hope to help bridge the gap between the success of CNNs for supervised learning and unsupervised learning. We introduce a class of CNNs called deep convolutional generative adversarial networks (DCGANs), that have certain architectural constraints, and demonstrate that they are a strong candidate for unsupervised learning. Training on various image datasets, we show convincing evidence that our deep convolutional adversarial pair learns a hierarchy of representations from object parts to scenes in both the generator and discriminator. Additionally, we use the learned features for novel tasks - demonstrating their applicability as general image representations.

研究の動機と目的

• 監督型 CNN の成功と無監督学習の間のギャップを、安定した DCGAN アーキテクチャを提案することで埋める。
• DCGAN が生成器と判別器の両方で階層的表現を学習することを示す。
• DCGAN から学習した特徴が、画像分類のような監督タスクへ競争力のある性能で転移することを示す。

提案手法

• 安定性のための三つのアーキテクチャ制約を採用: (1) プーリングをストライド畳み込み/分数ストライド畳み込みに置換、(2) バッチ正規化を慎重に配置、(3) 全結合層を排してより深いネットワークを可能にする。
• LSUN、ImageNet-1k、Faces データセット上で SGD（バッチサイズ 128、Adam 最適化子、学習率 0.0002、β1 0.5）を用いて DCGAN を訓練。
• ジェネレータは ReLU、出力は Tanh を使用。判別器は LeakyReLU を用い、グローバル平均プーリングは安定性と収束のバランスを取るため選択的に適用。

実験結果

リサーチクエスチョン

• RQ1 DCGAN アーキテクチャを高解像度の深い画像モデリングに対して安定化できるか。
• RQ2 無監督 DCGAN が、監督タスクに有用な転移可能な画像表現を学習するか。
• RQ3 無監督 DCGAN から生まれる潜在空間および内部特徴の性質は何か。
• RQ4 生成サンプルと潜在空間の操作は、学習された意味論的構造をどのように反映するか。

主な発見

Model	Accuracy	Accuracy (400 per class)	max # of features units
K-means (1 Layer)	80.6%	63.7%	4800
3 Layer K-means Learned RF	82.0%	70.7%	3200
View Invariant K-means	81.9%	72.6%	6400
Exemplar CNN	84.3%	77.4%	1024
DCGAN (ours) + L2-SVM	82.8%	73.8%	512

• 前述の制約で訓練された DCGAN は、データセット間で安定した訓練を生み出し、大規模化でより高品質の画像を生成する。
• 判別器の畳み込み特徴を固定特徴量抽出機として線形分類器と組み合わせた場合、無監督から監督への転移性能が競争力を持つ（例：CIFAR-10 で DCGAN 特徴量を用いて 82.8% の精度）。
• DCGAN の特徴量は、SVHN において 1000 ラベル付き例で最先端の結果を達成（テスト誤差 22.48%）、いくつかのベースラインを上回る。
• ガイド付き逆伝播は、学習済みの判別器特徴が意味的に有意なベッドや窓といった部品で活性化することを示す。
• 潜在空間の演算と操作は、ベクトル操作が意味的な変化（例：顔のポーズ変化、窓の removal などのオブジェクト変更）に対応することを示し、分離された、操作可能な表現を示す。