[論文レビュー] Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks

Jost Tobias Springenberg|arXiv (Cornell University)|Nov 19, 2015

Digital Media Forensic Detection被引用数 397

ひとこと要約

この論文は、識別的分類器と敵対的生成器を同時に学習する、非教師ありおよび半教師あり画像分類のためのカテゴリカル生成的対抗ネットワーク（CatGAN）を提案する。入力と予測されたクラス分布の間の相互情報量を最大化するとともに、敵対的サンプルに対する耐性を強化することで、CIFAR-10で1クラスあたり400例のラベル付きデータのみを用いて19.58%の誤差を達成し、最先端の性能を発揮するとともに、高精細な画像を生成する。

ABSTRACT

In this paper we present a method for learning a discriminative classifier from unlabeled or partially labeled data. Our approach is based on an objective function that trades-off mutual information between observed examples and their predicted categorical class distribution, against robustness of the classifier to an adversarial generative model. The resulting algorithm can either be interpreted as a natural generalization of the generative adversarial networks (GAN) framework or as an extension of the regularized information maximization (RIM) framework to robust classification against an optimal adversary. We empirically evaluate our method - which we dub categorical generative adversarial networks (or CatGAN) - on synthetic data as well as on challenging image classification tasks, demonstrating the robustness of the learned classifiers. We further qualitatively assess the fidelity of samples generated by the adversarial generator that is learned alongside the discriminative classifier, and identify links between the CatGAN objective and discriminative clustering algorithms (such as RIM).

研究の動機と目的

• 生成モデルと識別的分類を統合した、非教師ありおよび半教師あり学習の統一フレームワークの開発。
• 訓練中に生成される敵対的サンプルに対する耐性を強制することで、深層ニューラルネットワーク分類器の一般化性能の向上。
• 相互情報量最大化によって未ラベルデータを活用することで、限られたラベル付きデータからの効果的な学習の実現。
• 敵対的訓練と、正則化情報最大化（RIM）のような識別的クラスタリング手法との関係の解明。
• MNIST や CIFAR-10 などの標準ベンチマークで、生成されたサンプルの忠実度と分類器の性能の評価。

提案手法

• 入力データと予測クラス分布の間の相互情報量と、分類器の敵対的サンプルに対する耐性のトレードオフを取る新しい目的関数を導入。
• 識別的分類器 D がカテゴリカルなクラス確率を予測するように訓練する一方で、生成器 G が D を挑戦する敵対的サンプルを生成するように GAN フレームワークを拡張。
• 分類器は、入力 X と予測ラベル Y の間の相互情報量 I(X; Y|D) を最大化するように最適化され、分離可能で情報量の多い表現を促進。
• 生成器は、分類器をだますことができる現実的で高品質なサンプルを生成するように訓練され、これにより D が不自然な特徴に過剰適合するのを抑制。
• 未ラベルデータを活用することで、非教師あり（ラベルなし）および半教師あり（少数のラベル付き例）学習をサポートし、一般化性能の向上を実現。
• 合成データ、MNIST、CIFAR-10 で実証的に検証され、敵対的正則化とラベル効率の影響に関するアブレーションスタディが実施。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、半教師あり学習における深層ニューラルネットワーク分類器の耐性と一般化性能を向上させ得るか？
• RQ2 完全な監視が存在しない状況で、入力と予測クラス分布の間の相互情報量を最大化することは、表現学習をどのように向上させるか？
• RQ3 共同で訓練された生成器は、元のデータ分布を反映する高精細なサンプルをどの程度生成できるか？
• RQ4 CatGAN の目的関数は、正則化情報最大化（RIM）のような既存の識別的クラスタリング手法とどのように関係しているか？
• RQ5 少数のラベル付き例しか利用できない状況で、CatGAN の標準画像分類ベンチマークでの性能はいかがなものか？

主な発見

• CIFAR-10 で1クラスあたり400例のラベル付きデータを使用した場合、CatGAN はテスト誤差19.58%（±0.58）を達成し、Conv-Ladder や標準 GAN などの複数のベースラインを上回った。
• 完全な監視のもとでは、CatGAN はテスト誤差23.4%（±0.2）を達成し、Conv-CatGAN や Conv-Ladder などの最先端手法と同等の性能を示した。
• 非教師あり CatGAN モデルは、MNIST、CIFAR-10、LFW で高精細な画像を生成したことが、図3の定性的な視覚的検証で確認された。
• MNIST では、ログ尤度237 ± 6 を達成し、Goodfellow 他（2014）が報告した標準 GAN の225 ± 2 と同等の水準であったが、推定バイアスのためログ尤度比較には注意が必要であると指摘された。
• 生成器を除去し、L2 正則化を適用した場合、CatGAN は正則化情報最大化（RIM）と同等であったことが判明し、識別的クラスタリング手法との理論的関係を裏付けた。
• 敵対的生成器は分類器の耐性を顕著に向上させたが、著者らの実験では L2 正則化がさらに性能向上をもたらす証拠は得られなかった。