[論文レビュー] Self-Supervised Generative Adversarial Networks

Ting Chen, Xiaohua Zhai+3 more|arXiv (Cornell University)|Nov 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 15

ひとこと要約

本論文は、教師ありデータの必要性を排除するため、敵対的訓練と自己教師学習を組み合わせることで意味のある特徴表現を学習する自己教師型生成対抗ネットワーク（GAN）を提案する。この手法は、画像生成において最先端の条件付きGANと同等の性能を達成し、無条件ImageNet生成においてFIDスコア33を達成しており、強力な教師なし学習能力を示している。

ABSTRACT

Conditional GANs are at the forefront of natural image synthesis. The main drawback of such models is the necessity for labelled data. In this work we exploit two popular unsupervised learning techniques, adversarial training and self-supervision, to close the gap between conditional and unconditional GANs. In particular, we allow the networks to collaborate on the task of representation learning, while being adversarial with respect to the classic GAN game. The role of self-supervision is to encourage the discriminator to learn meaningful feature representations which are not forgotten during training. We test empirically both the quality of the learned image representations, and the quality of the synthesized images. Under the same conditions, the self-supervised GAN attains a similar performance to state-of-the-art conditional counterparts. Finally, we show that this approach to fully unsupervised learning can be scaled to attain an FID of 33 on unconditional ImageNet generation.

研究の動機と目的

• 教師ありデータの必要性を排除することで、条件付きGANと無条件GANの性能差を埋める。
• 自己教師学習を活用して、教師なし環境下でも効果的な表現学習をGANに可能にする。
• 完全に教師なしの設定で学習しながら、高品質な画像生成を維持する。
• ImageNetのような大規模データセットに対しても、教師なしでスケーリング可能なアプローチを実現する。

提案手法

• モデルは条件付きGANフレームワークを採用しているが、ラベルの監視を自己教師型の事前学習タスクに置き換えて表現学習を誘導する。
• 自己教師学習は、識別器が分離可能で意味のある特徴を学習するよう促すコントラスト学習の目的関数を用いる。
• 識別器は、敵対的識別と自己教師型表現学習の両方を同時に最適化するように訓練される。
• 生成器と識別器は、敵対的ゲームと自己教師的ゲームの二重のゲームを共有された特徴学習で行う。
• 自己教師学習の信号としてインスタンス識別を用い、ポジティブペアは同一画像の増幅画像である。
• 最終的なモデルは、敵対的損失と自己教師型コントラスト損失を組み合わせた総合損失を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 自己教師学習は、ラベルを必要とせずにGANにおける表現品質を向上させることができるか？
• RQ2 完全に教師なしで学習されたGANは、最先端の条件付きGANと同等の画像品質を達成できるか？
• RQ3 自己教師学習型GANは、ImageNetのような大規模データセットにどの程度スケーリングできるか？
• RQ4 自己教師学習は、敵対的訓練中に識別器が有用な特徴を忘れてしまうのを防げるか？

主な発見

• 自己教師型GANは、同一の訓練条件下で最先端の条件付きGANと同等の画像生成品質を達成した。
• 無条件ImageNet生成においてFIDスコア33を達成し、完全に教師なしの設定下でも優れた性能を示した。
• 自己教師学習は、識別器が学習する特徴表現の質と安定性を顕著に向上させた。
• 訓練の全過程を通じて、識別器は意味のある特徴表現を維持し、特徴の忘却を回避した。