[論文レビュー] Self-Supervised GANs via Auxiliary Rotation Loss

Ting Chen, Xiaohua Zhai+3 more|arXiv (Cornell University)|Nov 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 7

ひとこと要約

本論文は、ラベルなしデータを用いてディスクラミネーターの安定性と表現学習を向上させる自己教師付きGANを提案する。回転予測損失を導入することで、実画像および生成画像の回転角度をディスクラミネーターが予測するように訓練し、FIDが23.4に達する非条件付きImageNet生成を達成し、同等の条件下で条件付きGANの性能と同等の結果を得た。

ABSTRACT

Conditional GANs are at the forefront of natural image synthesis. The main drawback of such models is the necessity for labeled data. In this work we exploit two popular unsupervised learning techniques, adversarial training and self-supervision, and take a step towards bridging the gap between conditional and unconditional GANs. In particular, we allow the networks to collaborate on the task of representation learning, while being adversarial with respect to the classic GAN game. The role of self-supervision is to encourage the discriminator to learn meaningful feature representations which are not forgotten during training. We test empirically both the quality of the learned image representations, and the quality of the synthesized images. Under the same conditions, the self-supervised GAN attains a similar performance to state-of-the-art conditional counterparts. Finally, we show that this approach to fully unsupervised learning can be scaled to attain an FID of 23.4 on unconditional ImageNet generation.

研究の動機と目的

• 非定常環境下でのGAN学習におけるディスクラミネーターの忘却を是正すること。
• ラベルなしデータを用いて非条件付きGANと条件付きGANの性能格差を埋めること。
• 回転予測による自己教師付き事前学習を通じて、ディスクラミネーターの特徴表現を向上させること。
• ImageNetのような複雑なデータセットにおいて、高品質で完全に非教師付きの画像生成を可能にすること。
• 自己教師学習が、監視なしに敵対的学習を安定化させ、生成性能を向上させることを示すこと。

提案手法

• 入力画像の回転角度（0°, 90°, 180°, 270°）を分類する補助的回転予測損失を導入する。
• 訓練中は回転損失を実画像にのみ適用し、主なGAN損失は実画像対偽物分類に残す。
• 表現学習の観点からジェネレーターとディスクラミネーターを協調的に訓練しつつ、標準的なGANゲームでの競争を維持する。
• 敵対的および自己教師的タスクの両方で同じディスクラミネーター構造を用い、特徴表現を共有する。
• 自己教師信号を活用してディスクラミネーターの内部表現を安定化させ、極端な忘却を低減する。
• 自己モジュレーション、正規化、および截断法を用いたスケーリング技術により、高精細な非条件付きImageNet生成を達成する。

実験結果

リサーチクエスチョン

• RQ1 回転予測による自己教師学習が、GAN学習の安定化とディスクラミネーターの忘却低減に寄与するか。
• RQ2 ラベルなしディスクラミネーターに補助的自己教師学習を組み込むことで、条件付きGANの性能にどの程度近づけるか。
• RQ3 回転に基づく自己教師学習が、下流タスクにおける学習済み画像表現の質を向上させるか。
• RQ4 本アプローチが、ラベルなしデータを一切用いずにImageNetにおける最先端の非条件付き画像生成を達成できるか。
• RQ5 ジェネレーターとディスクラミネーターの表現学習における協調的関係が、生成品質および学習安定性に与える影響はいかなるか。

主な発見

• 自己教師付きGANは、非条件付きImageNet生成において23.4のFréchet Inception Distance (FID)を達成し、完全に非教師付きモデルにとって顕著な結果である。
• 同等の訓練条件下で、本モデルはラベルなしデータを一切必要とせず、最先端の条件付きGANと同等の性能を達成した。
• 補助的回転損失のおかげで、ディスクラミネーターはより安定的かつ意味のある特徴表現を学習し、極端な忘却が軽減された。
• 自己教師信号のおかげで、合成画像の品質が向上し、ディスクラミネーターが分離可能で意味的な特徴を学習するよう促された。
• 本手法は大規模データセットに効果的にスケーリングでき、クラスラベルや条件付き監視なしでも競争力のある結果を達成した。
• 自己教師学習が、GAN学習の安定化と生成性能向上において、ラベルの役割を効果的に代替できることを示した。