[論文レビュー] Triple Generative Adversarial Networks

Chongxuan Li, Kun Xu+3 more|arXiv (Cornell University)|Dec 20, 2019

Generative Adversarial Networks and Image Synthesis参考文献 79被引用数 9

ひとこと要約

本論文は、限られた監視下で半教師あり分類とクラス条件付き画像生成を統合できる、生成器、分類器、識別器の3者からなるミニマックスゲームフレームワーク「Triple-GAN」を提案する。複数のベンチマークで最先端の性能を達成しており、データオーグメンテーションに依存せず、半教師ありおよび極めて少ないデータの状況下でも、既存手法を顕著に上回っている。

ABSTRACT

We propose a unified game-theoretical framework to perform classification and conditional image generation given limited supervision. It is formulated as a three-player minimax game consisting of a generator, a classifier and a discriminator, and therefore is referred to as Triple Generative Adversarial Network (Triple-GAN). The generator and the classifier characterize the conditional distributions between images and labels to perform conditional generation and classification, respectively. The discriminator solely focuses on identifying fake image-label pairs. Under a nonparametric assumption, we prove the unique equilibrium of the game is that the distributions characterized by the generator and the classifier converge to the data distribution. As a byproduct of the three-player mechanism, Triple-GAN is flexible to incorporate different semi-supervised classifiers and GAN architectures. We evaluate Triple-GAN in two challenging settings, namely, semi-supervised learning and the extreme low data regime. In both settings, Triple-GAN can achieve excellent classification results and generate meaningful samples in a specific class simultaneously. In particular, using a commonly adopted 13-layer CNN classifier, Triple-GAN outperforms extensive semi-supervised learning methods substantially on more than 10 benchmarks no matter data augmentation is applied or not.

研究の動機と目的

• 限られた監視下における特徴表現の学習と分離可能な条件付き生成の限界を解消すること。
• 理論的根拠に基づいた単一のフレームワークで、半教師あり分類と条件付き画像生成を統合すること。
• 従来の条件付きGANにおける分類性能と生成性能のトレードオフを解消し、分類器と識別器の役割を分離すること。
• ラベルなしの未ラベルデータが存在しない極めて少ないデータの状況でも有効な学習を可能にすること。
• さまざまな半教師あり分類器やGANアーキテクチャを統合可能な柔軟なアーキテクチャを提供すること。

提案手法

• 生成器、分類器、識別器の3者からなるミニマックスゲームを定式化し、それぞれが学習プロセスにおいて明確な役割を果たす。
• 生成器は画像生成のための条件付きデータ分布 p(x|y) を学習する。分類器は分類のための p(y|x) を学習する。識別器は本物と偽物の画像ラベルペアを区別する。
• 非パラメトリック仮定を用いて、ゲームが生成器と分類器の分布が真のデータ分布に収束する一意の均衡に到達することを証明する。
• すべての3要素を同時に最適化する統一された訓練目的を採用し、共有された特徴表現によるエンドツーエンド学習を可能にする。
• 標準的なCNNやGANアーキテクチャ（例：13層CNN、Improved-GAN）をTriple-GANフレームワーク内のコンponentsとして適応する。
• 2つの変種、Triple-GAN-V1 と Triple-GAN-V2 を導入し、V2はより優れた性能を得るための改善された訓練技術を統合している。

実験結果

リサーチクエスチョン

• RQ1 限られた監視下で、半教師あり分類と条件付き画像生成を統合できる統一された3者によるGANフレームワークは、有効に機能するか？
• RQ2 3者ゲームにおける分類器と識別器の分離は、2者による条件付きGANと比較して、より良い均衡収束と性能向上をもたらすか？
• RQ3 未ラベルデータが存在しない極めて少ないデータの状況下で、Triple-GANはどの程度の性能を発揮するか？
• RQ4 特に少ないデータの状況下で、データオーグメンテーションなしに、Triple-GANは最先端の結果を達成できるか？
• RQ5 提案フレームワークにおける統合生成器と分類器の収束に関する理論的保証は何か？

主な発見

• データオーグメンテーションを適用した状況で、Triple-GAN-V2はSVHNで1.83%（10.17% vs. 11.08%）のMTベースラインを上回り、CIFAR10では1.23%（17.34% vs. 18.10%）上回った。
• 極めて少ないデータの状況下で、Triple-GAN-V2はラベル付きサンプルがたった1,000個のSVHNでトップ1正解率10.17%を達成し、MTベースライン（11.08%）とCNNベースライン（22.72%）を顕著に上回った。
• CIFAR10で4,000ラベルを用いた状況で、Triple-GAN-V2はデータオーグメンテーションを適用し17.34%の正解率を達成し、MTベースライン（18.10%）を上回り、同条件でDADA（24.17%）をも凌駆した。
• 半教師あり学習において、Triple-GAN-V1はCIFAR10で4,000ラベルを用い、データオーグメンテーションなしで32.73%の正解率を達成し、CNNベースライン（46.10%）を上回った。
• 極めて少ないデータの状況下でCIFAR10のFIDスコアは42.3と、半教師あり学習時の17.9より著しく悪いが、依然として意味のある画像を生成できた。
• Triple-GAN-V2は、半教師ありおよび極めて少ないデータの両状況下で10以上のベンチマークで最先端の性能を達成し、堅牢性と一般化性能を示した。