[論文レビュー] How Does GAN-based Semi-supervised Learning Work?

Xuejiao Liu, Xueshuang Xiang|arXiv (Cornell University)|Jul 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 6

ひとこと要約

この論文は、GANに基づく半教師付き学習（GAN-SSL）の理論的分析を提供し、GAN-SSLにおけるミニマックス最適化が、真のデータ分布を完全にモデル化しない生成器を活用することで、ラベル付きデータおよびラベルなしデータの両方に対して完璧な識別器を生み出すことを示している。主な貢献は、生成器が真のデータ分布を完全にモデル化しない状況下でも、ラベルなしデータを活用することで識別器の一般化性能が実際に向上することを示していることである。

ABSTRACT

Generative adversarial networks (GANs) have been widely used and have achieved competitive results in semi-supervised learning. This paper theoretically analyzes how GAN-based semi-supervised learning (GAN-SSL) works. We first prove that, given a fixed generator, optimizing the discriminator of GAN-SSL is equivalent to optimizing that of supervised learning. Thus, the optimal discriminator in GAN-SSL is expected to be perfect on labeled data. Then, if the perfect discriminator can further cause the optimization objective to reach its theoretical maximum, the optimal generator will match the true data distribution. Since it is impossible to reach the theoretical maximum in practice, one cannot expect to obtain a perfect generator for generating data, which is apparently different from the objective of GANs. Furthermore, if the labeled data can traverse all connected subdomains of the data manifold, which is reasonable in semi-supervised classification, we additionally expect the optimal discriminator in GAN-SSL to also be perfect on unlabeled data. In conclusion, the minimax optimization in GAN-SSL will theoretically output a perfect discriminator on both labeled and unlabeled data by unexpectedly learning an imperfect generator, i.e., GAN-SSL can effectively improve the generalization ability of the discriminator by leveraging unlabeled information.

研究の動機と目的

• 生成器が真のデータ分布を完全にモデル化しない状況下でも、GANベースの半教師付き学習（GAN-SSL）がどのようにして性能を向上させるかを理論的に理解すること。
• 固定された生成器の下で、GAN-SSLにおける最適識別器と教師あり学習における最適識別器との関係を明確にすること。
• GAN-SSLにおける最適識別器が、ラベル付きデータおよびラベルなしデータの両方で完全な性能を達成する条件を特定すること。
• 先行研究が主張する「悪い生成器」が良好なSSL性能をもたらす必要があるという主張に反論し、より厳密な理論的分析を提供すること。
• GAN-SSLの理論的保証に必要な、特にデータ多様体の構造に関する重要な仮定を同定および正当化すること。

提案手法

• 固定された生成器に対して、GAN-SSL識別器の最適化が教師あり学習の目的関数の最適化と等価であることを証明し、最適識別器がラベル付きデータに対して完全であると予想されることを示す。
• GAN-SSLにおける生成器の目的関数を、$-KL(p||p - \epsilon p_G) + 2JS(p||p_G)$ の組み合わせとして分析する。ここで $\epsilon$ は理論的最大値からの識別器の誤差を表す。
• 最適識別器が理論的最大値に達する場合（$\epsilon = 0$）には、生成器の目的関数が $JS(p||p_G)$ の最小化に帰着することを示し、これは完全な生成器を意味する。
• 仮定1(3)を導入および正当化する：ラベル付きデータがデータ多様体のすべての連結部分多様体を通過している必要がある。これにより、ラベルなしデータに対する完全な一般化が可能になる。
• 合成二値分類実験を用いて、仮定1(3)の必要性を実証的に検証し、特定の部分多様体にラベル付きデータが欠落していると、ラベルなしデータに対する予測が不確実になることを示す。
• 先行研究（例：[4]）と比較し、『補完的生成器』の要件が不必要に強く、線形表現可能な偽の特徴の存在に緩和可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 生成器が固定されている場合、GAN-SSLにおける最適識別器は、教師あり学習における最適識別器とどのように関係しているか？
• RQ2 GAN-SSLにおける最適識別器が、ラベル付きデータおよびラベルなしデータの両方で完全な性能を達成する条件は何か？
• RQ3 先行研究が主張するように、「悪い生成器」が効果的な半教師付き学習に不可欠であるのだろうか？
• RQ4 GAN-SSLの理論的成功に必要な、データ多様体に関する構造的仮定は何か？
• RQ5 理論的保証を維持したまま、「補完的生成器」の要件を緩和できるか？

主な発見

• 固定された生成器に対して、GAN-SSL識別子の最適化は教師あり学習の目的関数の最適化と等価であるため、最適識別器はすべてのラベル付きデータに対して完全であると予想される。
• 実際のGAN-SSLにおける最適生成器は不完全である。これは、識別器目的関数の理論的最大値に到達できないため、$\epsilon > 0$ であるからである。
• 最適識別器が理論的最大値に達する場合（$\epsilon = 0$）には、生成器の目的関数が $JS(p||p_G)$ の最小化に帰着するため、完全な生成器を意味する。
• ラベル付きデータがデータ多様体のすべての連結部分多様体をカバーしている場合（仮定1(3)）、GAN-SSLにおける最適識別器はラベルなしデータに対しても完全な性能を示すことができる。
• GAN-SSLにおける最適生成器は、従来の主張とは異なり「悪い」ものではなく、不完全ではあるが性能に逆効果を及えるものではない。
• 合成実験により、特定の部分多様体にラベル付きデータが欠落していると、ラベルなしデータに対する一般化性能が低下することが確認され、仮定1(3)の必要性が裏付けられた。