[論文レビュー] High-Fidelity Image Generation With Fewer Labels

Mario Lučić, Michael Tschannen+4 more|arXiv (Cornell University)|Mar 6, 2019

Image Processing Techniques and Applications参考文献 42被引用数 95

ひとこと要約

この論文は、自己教師付き学習と半教師付き学習がラベルを大幅に減らしても高忠実度のImageNet画像生成を可能にし、BigGANに匹敵または上回ることを示す。ラベルの最小10%、20%でSOTAのFID/ISを達成。

ABSTRACT

Deep generative models are becoming a cornerstone of modern machine learning. Recent work on conditional generative adversarial networks has shown that learning complex, high-dimensional distributions over natural images is within reach. While the latest models are able to generate high-fidelity, diverse natural images at high resolution, they rely on a vast quantity of labeled data. In this work we demonstrate how one can benefit from recent work on self- and semi-supervised learning to outperform the state of the art on both unsupervised ImageNet synthesis, as well as in the conditional setting. In particular, the proposed approach is able to match the sample quality (as measured by FID) of the current state-of-the-art conditional model BigGAN on ImageNet using only 10% of the labels and outperform it using 20% of the labels.

研究の動機と目的

• 自己教師付き学習がGAN訓練を導く意味的特徴を提供する方法を示す。
• 限られた実データラベルでGANの条件情報を推定する半教師付きラベリングを調査する。
• 学習済みの事前訓練および共訓練アプローチを評価し、ラベル付きデータを削減しつつ高品質なサンプルを維持する。
• GAN訓練中の自己監視を高忠実度の画像合成の安定化要因として評価する。

提案手法

• 高忠実度のImageNet生成のベースとして条件付きBigGANアーキテクチャを使用する。
• ラベル削減アプローチの3つの系を探る: (i) クラスタリングまたは線形分類器を用いた事前訓練の自己-/半教師付き手法, (ii) GAN訓練中に補助分類器が未ラベルデータのラベルを予測する共訓練, (iii) 判別器へ組み込まれたGAN訓練の自己監視。
• 判別器および生成器損失の補助タスクとして回転ベースの自己監視を組み込む。
• 投影型識別器におけるハードラベルとソフトラベルを用いた実験を行い、5%、10%、20%のラベルデータでの安定性を検討する。
• 128x128および256x256解像度のImageNetでFIDとInception Score(IS)を用いて評価する。
• 再現性のためのオープンソースコードを提供。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き表現は、限られたラベルで高忠実度のImageNet生成を可能にするか？
• RQ2 事前訓練、共訓練、自己教師付き目的は、ラベル付きデータを削減しつつサンプル品質を維持または向上させる点でどう比較されるか？
• RQ3 ラベルが限られた状態で訓練された高解像度GANを、GAN訓練中の自己監視は安定化するか？

主な発見

• 自己監視表現を用いたクラスタリングは、無監督ImageNet生成の新しいSOTAを達成し、基本的な無監督設定に対してFIDを低減しISを高める。
• 事前訓練済み半教師付きS2 GANは20%のラベルデータでBigGANに匹敵し、10%のラベルで近づく。
• 共訓練S2 GAN-COは、ラベル割合を問わず無監督ベースラインを上回り、20%ラベルでFID 13.9、IS 49.2を達成し、監視付きベースラインに近い。
• GAN訓練中の自己監視（S3 GAN）は10%ラベルでBigGANに匹敵し、20%ラベルで上回り、複数設定でFIDをおよそ5–10%改善。
• ハードラベル（予測）は複数の構成でソフトラベルより優れ、自己監督は方法間で一貫して安定性とサンプル品質を向上させる。