[論文レビュー] Good Semi-supervised Learning that Requires a Bad GAN

Zihang Dai, Zhilin Yang+3 more|arXiv (Cornell University)|May 27, 2017

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 231

ひとこと要約

この論文は、GANベースの半教師あり学習において、悪い（補完）ジェネレータが有益であることを示し、KL発散目的と識別器の条件エントロピーによって高エントロピー・低密度の補完サンプルを誘導する実用的な方法を提供し、特徴マッチングを上回る性能を示している。

ABSTRACT

Semi-supervised learning methods based on generative adversarial networks (GANs) obtained strong empirical results, but it is not clear 1) how the discriminator benefits from joint training with a generator, and 2) why good semi-supervised classification performance and a good generator cannot be obtained at the same time. Theoretically, we show that given the discriminator objective, good semisupervised learning indeed requires a bad generator, and propose the definition of a preferred generator. Empirically, we derive a novel formulation based on our analysis that substantially improves over feature matching GANs, obtaining state-of-the-art results on multiple benchmark datasets.

研究の動機と目的

• GANを用いた半教師付き学習を動機づけ、良いジェネレータと強いSSL性能が必ずしも一致しない可能性を理解する。
• 標準のK+1識別子目的の下で、ジェネレータがSSLに寄与する条件を理論的に特徴づける。
• 決定境界の配置を支援する特徴空間領域でサンプルを生成する補完ジェネレータを定義し、動機づける。
• 特徴量マッチングを超える高いジェネレータエントロピーと低密度サンプル生成を課す実践的なSSL手法を提案する。

提案手法

• 識別器のK+1分類器を用いたGANベースのSSL目的を分析し、良いSSLには補完的（悪い）ジェネレータが必要であることを示す。
• 特徴空間における補完ジェネレータを定義し、識別器が正しく高密度の境界を学ぶ条件（命題2）を確立する。
• ジェネレータエントロピー最大化（変分エンコーダまたはプルアウェイト項を介して）と低密度サンプルペナルティ（PixelCNN++密度モデルを用く）を組み合わせたジェネレータ目的と、入力空間における補完分布とp_Gを整合させるKL発散ターゲット（式4）を導入する。
• 識別器の目的関数に条件エントロピー項を加えて、未ラベルデータに対して真偽の強い信念を課す（式5）。
• エントロピー増大法と低密度 Enforcement を用いた訓練で、補完ジェネレータの枠組みを近似するようジェネレータと識別器を反復的に学習させる。

実験結果

リサーチクエスチョン

• RQ1 GANベースのSSLにおいて標準のK+1識別子目的がジェネレータから恩恵を受けるか、またどの条件でジェネレータが有益または有害であるか。
• RQ2 完璧なものではなく補完（悪い）ジェネレータが半教師込み分類性能を改善できるか、そしてその理由は何か。
• RQ3 高次元データで補完ジェネレータのアイデアを実現するために、ジェネレータと識別器の実用的な目的をどう設計するか。
• RQ4 補完ジェネレータに着想を得た手法は、特徴マッチングと比較して標準SSLベンチマークでどの程度の実験的 gains を達成するか。

主な発見

• 完全なジェネレータはK+1識別子の定式化の下で一般化を改善しない（命題1）。
• 補完的（悪い）ジェネレータは特徴空間の低密度領域に決定境界を配置するのを助ける（命題2）。
• エントロピー最大化と補完分布へ向かう低密度サンプリングを組み合わせた提案ジェネレータ目的は、同じ識別器アーキテクチャを用いた場合、MNIST、SVHN、CIFAR-10で特徴マッチングを上回る。
• 識別器に条件エントロピー項を追加することで、未ラベルデータに対する真偽の強い信念を課し、SSL過程を支援する。
• 小型の識別器を用いてMNIST、SVHN、CIFAR-10で最先端結果を達成し、より大規模モデルや自己アンサンブル法と競合可能であることが経験的に示されている。