[論文レビュー] Transferring GANs: generating images from limited data

Yaxing Wang, Chenshen Wu+4 more|arXiv (Cornell University)|May 4, 2018

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 21

ひとこと要約

本稿は、生成対抗ネットワーク（GAN）における転移学習を調査し、密度が高くドメインが限定されたデータセット（例：LSUN）から事前学習されたモデルでGANを初期化することで、データが限られる状況でも収束が著しく速まり、画像品質が向上することを示している。主な結果として、生成器よりもディスクリミネータの転移がより重要であり、画像生成タスクでは多様性のあるデータセット（例：ImageNet）よりも密度の高いデータセットが優れていることが判明した。

ABSTRACT

Transferring the knowledge of pretrained networks to new domains by means of finetuning is a widely used practice for applications based on discriminative models. To the best of our knowledge this practice has not been studied within the context of generative deep networks. Therefore, we study domain adaptation applied to image generation with generative adversarial networks. We evaluate several aspects of domain adaptation, including the impact of target domain size, the relative distance between source and target domain, and the initialization of conditional GANs. Our results show that using knowledge from pretrained networks can shorten the convergence time and can significantly improve the quality of the generated images, especially when the target data is limited. We show that these conclusions can also be drawn for conditional GANs even when the pretrained model was trained without conditioning. Our results also suggest that density may be more important than diversity and a dataset with one or few densely sampled classes may be a better source model than more diverse datasets such as ImageNet or Places.

研究の動機と目的

• 判別モデルで一般的に用いられる転移学習が、生成モデル、特にGANに効果的に適用可能かどうかを調査すること。
• ソースドメインの特性（例：多様性、密度、クラス分布）が、GANにおける転移性能に与える影響を評価すること。
• 事前学習済みの非条件付きGANが、条件付きGANに効果的に適応可能かどうかを特定すること。
• 条件付きGANおよび非条件付きGANにおいて、生成器とディスクリミネータのどちらを転移することがより重要かを分析すること。
• 少数のラベル付き画像しか利用できない低データ環境における、転移学習の有効性を評価すること。

提案手法

• ImageNet、Places、LSUN、CelebAなど、事前に学習されたGAN（例：ImageNetで学習済み）を用いて、生成器およびディスクリミネータを事前学習済み重みで初期化することで、事前学習済みGANのファインチューニング。
• LSUN 10クラスサブセットにおける画像の現実性を評価するため、FID（Fréchet Inception Distance）と人間評価を用いて転移性能を評価。
• 非条件付きGANから学習したモデルを用いて、条件付きGAN（AC-GAN）を訓練し、ソースモデルが条件付き学習を経ていない場合でも適応可能かどうかを検証。
• 訓練をゼロから行う場合と転移学習を行う場合とを、さまざまなターゲットデータセットサイズ（クラス100、1,000、10,000枚）で比較。
• 心理物理学実験を実施し、人間被験者が「ゼロから訓練したモデル」と「事前学習済みモデル」から生成された2枚の画像のうち、より現実的に見える方を判断した。
• 特に低データ環境において、ソース・ターゲットドメイン間の距離とクラス密度が転移可能性に与える影響を分析。

実験結果

リサーチクエスチョン

• RQ1 訓練データが限られる状況でも、事前学習済みGANからの転移学習が、画像生成品質と収束速度を向上させることができるか？
• RQ2 ソースデータセットの選択（例：ImageNet、Places、LSUN、CelebA）が、GANにおける転移性能に与える影響は何か？
• RQ3 GANにおいて、ディスクリミネータを転移することが生成器を転移するよりも有益であるか、両方を転移することで最良の結果が得られるか？
• RQ4 事前学習済みの非条件付きGANが、ソースモデルが条件付き学習を経ていない場合でも、条件付きGANに効果的に適応可能か？
• RQ5 GANにおける転移可能特徴量の観点から、データセットの密度（1クラスあたりの画像枚数）が多様性よりも重要であるか？

主な発見

• 事前学習済みGANは、特にターゲットデータが限られる状況で、訓練時間を著しく短縮し、画像品質を向上させる。FIDスコアの低下（例：LSUNでクラス100枚の場合、119.1 vs. 162.9）によりその効果が示された。
• ディスクリミネータのみを転移する方が、生成器のみを転移するよりも優れた性能を示し、両方のネットワークを転移することで最良の結果が得られた。
• ImageNetは多様性が非常に高いが、クラス密度が低いため、GANの転移においては劣る。LSUNはクラス密度が高いため、顕著に優れた性能を示した。
• 人間評価では、事前学習済みGANがより現実的な画像を生成しており、1,000枚/クラスの条件下で67%の割合で好まれた。これはFIDのトレンドを裏付けた。
• 事前学習済みモデルからファインチューニングしたAC-GANは、分類器の正確性（例：1,000枚/クラスで65.9% vs. 52.7%）とFIDが両方とも向上し、分布の整合性が高まっていることが示された。
• 本研究では、GANにおいては多様性よりもクラス密度が転移可能性においてより重要であることが判明し、ImageNetのような多様なデータセットが最適であるという仮定に疑問を呈した。