[論文レビュー] Self-labeled Conditional GANs

Mehdi Noroozi|arXiv (Cornell University)|Dec 3, 2020

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 7

ひとこと要約

本稿では、自己ラベル化された条件付きGAN（slcGAN）を提案する。これは完全に教師なしのフレームワークであり、生成器、識別器、クラスタリングネットワークを同時に学習させ、データから擬似ラベルを学習することで、人間によるラベル付けが不要な条件付き画像生成を可能にする。本手法はImageNetおよびLSUNにおいて無条件GANを上回り、CIFAR10およびCIFAR100では人間によるラベル付けが施された分類条件付きGANを上回るFIDスコアを達成する。さらに、CIFAR100におけるクラスタリング精度においても最先端の性能を達成している。

ABSTRACT

This paper introduces a novel and fully unsupervised framework for conditional GAN training in which labels are automatically obtained from data. We incorporate a clustering network into the standard conditional GAN framework that plays against the discriminator. With the generator, it aims to find a shared structured mapping for associating pseudo-labels with the real and fake images. Our generator outperforms unconditional GANs in terms of FID with significant margins on large scale datasets like ImageNet and LSUN. It also outperforms class conditional GANs trained on human labels on CIFAR10 and CIFAR100 where fine-grained annotations or a large number of samples per class are not available. Additionally, our clustering network exceeds the state-of-the-art on CIFAR100 clustering.

研究の動機と目的

• 人間によるラベル付けに依存しない完全な教師なしフレームワークを構築し、条件付きGANの学習を可能にすること。
• データから細分化された擬似ラベルを学習することで、ImageNet や LSUN といった大規模データセットにおける画像生成品質を向上させること。
• 教師なしで、意味的で分離可能な画像データの表現を学習するクラスタリングネットワークを構築すること。
• 敵対的訓練とクラスタリングネットワークの組み合わせが、従来のクラスタリング手法よりも強力な監視信号を提供することを示すこと。
• データから導出された擬似ラベルが、細分化されたまたは高変動性の設定において、人間によるラベル付けよりも優れた画像生成をもたらす可能性があることを示すこと。

提案手法

• 実画像にK次元の確率ベクトル（擬似ラベル）を割り当てるため、条件付きGANフレームワークにクラスタリングネットワークを統合する。
• 生成器をノイズベクトルと擬似ラベルの両方に条件付けた画像を生成するように訓練し、識別器は実際の（画像、擬似ラベル）ペアと偽物のペアを区別するように訓練する。
• 敵対的訓練を用いて、生成器、識別器、クラスタリングネットワークを3人称ミニマックスゲームとして同時に最適化する。
• 擬似ラベルが情報を持たない状態を回避するため、クラスタリングネットワークの出力に一様事前分布を課す正則化子を導入する。
• 同じ画像の増幅された複数のビューに対して割り当てられた擬似ラベルの整合性を保つために、複数のビュークラスタリング損失を適用する。
• 条件付け項と生成画像との間に依存関係を強制することで、モード崩壊やラベル隠しを防ぐ。

実験結果

リサーチクエスチョン

• RQ1 データから擬似ラベルを学習することで、人間によるラベル付けがなくても条件付きGANを効果的に訓練できるか？
• RQ2 データから細分化された擬似ラベルを学習することで、粗い人間ラベルを用いた場合よりも優れた画像生成性能が得られるか？
• RQ3 GANフレームワーク内に学習されたクラスタリングネットワークは、教師なし画像クラスタリングにおいて最先端の性能を達成できるか？
• RQ4 k-meansなどの従来のクラスタリング手法と比較して、敵対的訓練信号はクラスタの質や分布の観点でどのように優れているか？
• RQ5 補助的な複数のビュークラスタリング損失は、クラスタリングネットワークのロバスト性と性能を顕著に向上させるか？

主な発見

• 提案された slcGAN フレームワークは、ImageNet で FID 27.4、LSUN で FID 19.5 を達成し、無条件GANを顕著に上回っている。
• CIFAR10 と CIFAR100 では、それぞれ FID スコアが 10.8 と 18.6 であり、人間ラベルが付与された分類条件付きGANを上回っている。
• クラスタリングネットワークは、CIFAR100 でトップ1クラスタリング精度 72.1% を達成し、前回の最先端技術を 2.5 パcentポイント上回っている。
• アブレーションスタディの結果、複数のビュークラスタリング損失を削除すると、CIFAR10 における線形評価精度が 5% 減少し、その有効性が確認された。
• 本手法におけるクラスタサイズのヒストグラムは、k-means よりも広い範囲をカバーしており、分布への適応性が高く、均一なクラスタサイズへのバイアスが少ないことが示された。
• 定性的な結果では、同じ擬似ラベルに条件付けられた生成器が、多様で高品質なサンプルを生成でき、また与えられた画像の複数のスタイル的に一貫した変種を再構築できている。