[論文レビュー] Class-Splitting Generative Adversarial Networks

Guillermo L. Grinblat, Lucas C. Uzal+1 more|arXiv (Cornell University)|Sep 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 31

ひとこと要約

この論文では、GAN自身が学習した表現空間におけるクラスタリングを用いて、追加のハイレベルなクラスラベルを生成することで、条件付きGANの性能を向上させるClass-Splitting GANという手法を提案する。元のクラスラベルにこれらの学習済みクラスタを追加することにより、教師ありおよび教師なしの両設定においてCIFAR-10およびSTL-10で最先端のInceptionスコアを達成し、事前のクラス情報が不要なままに、生成画像の品質が著しく向上する。

ABSTRACT

Generative Adversarial Networks (GANs) produce systematically better quality samples when class label information is provided., i.e. in the conditional GAN setup. This is still observed for the recently proposed Wasserstein GAN formulation which stabilized adversarial training and allows considering high capacity network architectures such as ResNet. In this work we show how to boost conditional GAN by augmenting available class labels. The new classes come from clustering in the representation space learned by the same GAN model. The proposed strategy is also feasible when no class information is available, i.e. in the unsupervised setup. Our generated samples reach state-of-the-art Inception scores for CIFAR-10 and STL-10 datasets in both supervised and unsupervised setup.

研究の動機と目的

• 元のデータセットのクラス数を超える有効なクラスラベルの数を増やすことで、条件付きGANにおける生成画像の品質を向上させること。
• 元のクラスラベルが利用できない教師なし設定でも、効果的な画像生成を可能にすること。
• GANモデルが学習した表現空間を活用して、意味的に意味のあるハイレベルなクラスタを発見し、生成品質を向上させること。
• シンプルだが効果的なクラスタリングベースの拡張戦略を用いて、CIFAR-10やSTL-10といったベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 訓練済みのWGANモデルの識別器ネットワークから抽出した潜在表現に対してクラスタリング（例：k-means）を適用する。
• 得られたクラスタから新たなクラスラベルを生成し、それらを訓練中の生成器の条件付けに使用する。
• 生成器と識別器を、元のデータセットのラベルと新たに作成されたクラスタベースのラベルを用いて再訓練することで、条件付きGAN設定におけるクラス数を実際に増やす。
• クラスタリングがラベルの有無に関わらず実際のデータの表現に適用されるため、教師ありおよび教師なしの両訓練に適している。
• 安定したWGAN-GPの定式化を用いて実装されており、ResNetのような深層アーキテクチャの訓練が可能である。
• 分類器ヘッドと条件付け入力を変更することで、クラス数の増加に対応したネットワークアーキテクチャの適合が行われる。

実験結果

リサーチクエスチョン

• RQ1 訓練済みのGANの表現空間におけるクラスタリングは、画像生成品質を向上させる意味的・ハイレベルなクラスラベルを生成できるか？
• RQ2 元のクラスラベルに自己発見クラスタを追加することで、教師ありおよび教師なしの両設定においてより良い画像生成が達成できるか？
• RQ3 CIFAR-10およびSTL-10におけるInceptionスコアの観点から、本手法は最先端のGANと比較してどのように優れているか？
• RQ4 元のクラスラベルに依存せずに、高品質なサンプルを生成できるか？

主な発見

• 提案手法のClass-Splitting GANは、教師あり設定下でCIFAR-10で9.28という最先端のInceptionスコアを達成し、従来手法を上回った。
• CIFAR-10における教師なし設定でも、Inceptionスコア8.61を達成し、既存の教師なしベースラインを上回った。
• より多様性の高いSTL-10データセットでは、教師あり設定下でInceptionスコア8.79を達成し、高ばらつきデータに対しても有効性を示した。
• 生成サンプルの視覚的評価では、標準のWGAN-GPと比較して、細部の品質や構造的一致性が向上していることが明らかになった。
• クラスタリングの結果、意味的に意味のあるグルーピング（例：横顔の馬、正面を向いた猫）が得られ、本手法がハイレベルで解釈可能な構造を発見していることが示された。
• 元のクラスラベルが存在しない場合でも、本手法は効果を発揮し、教師なし画像生成において優れた性能を示した。