[論文レビュー] On Leveraging Pretrained GANs for Generation with Limited Data

Miaoyun Zhao, Yulai Cong+1 more|arXiv (Cornell University)|Feb 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 63被引用数 50

ひとこと要約

この論文は、大規模データセットで事前学習したGANの低レベルフィルタをデータ不足領域へ転写し、それらを固定化して、適応フィルタモジュレーション（AdaFM）を用いた小型のターゲット特化ネットワークを追加することで、限られたデータでの生成を改善し、ベースラインよりも優れたFIDスコアを達成します。

ABSTRACT

Recent work has shown generative adversarial networks (GANs) can generate highly realistic images, that are often indistinguishable (by humans) from real images. Most images so generated are not contained in the training dataset, suggesting potential for augmenting training sets with GAN-generated data. While this scenario is of particular relevance when there are limited data available, there is still the issue of training the GAN itself based on that limited data. To facilitate this, we leverage existing GAN models pretrained on large-scale datasets (like ImageNet) to introduce additional knowledge (which may not exist within the limited data), following the concept of transfer learning. Demonstrated by natural-image generation, we reveal that low-level filters (those close to observations) of both the generator and discriminator of pretrained GANs can be transferred to facilitate generation in a perceptually-distinct target domain with limited training data. To further adapt the transferred filters to the target domain, we propose adaptive filter modulation (AdaFM). An extensive set of experiments is presented to demonstrate the effectiveness of the proposed techniques on generation with limited data.

研究の動機と目的

• 事前学習済みのGANから情報を転移し、限られたデータしかないターゲット領域で生成を促進する動機づけ。
• GANがドメイン間で一般的に転写可能な低レベルフィルタを特定する。
• 転写されたフィルタをターゲット領域へ適応させるためのコンパクトなドメイン特化ヘッドとAdaFMを提案する。
• 転送されたフィルタと AdaFM を用いて、複数の小規模データセットで生成性能を改善する。

提案手法

• 事前学習済みGAN（ImageNet上のGP-GAN）から低レベルの生成器・判別器フィルタを一般部分として再利用する。
• 高レベルのドメイン特化部分を小さな適合ネットワーク（SmallHead）に置換し、スタイルミキシングを可能にする。
• 転写されたフィルタを学習可能なガンマβパラメータで調整する適応的フィルタモジュレーション（AdaFM）を導入する。
• 一般部分を凍結したまま、ターゲットデータが限られている場面でドメイン特化ヘッドとAdaFMコンポーネントを訓練する。
• Fréchet Inception Distance (FID)を複数のターゲットデータセットで評価し、TransferGANおよびScratchベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みGANの低レベルフィルタは、限られたデータしかない perceptually 異なるターゲット領域に一般化できるか。
• RQ2 転写された低レベルフィルタを凍結し、コンパクトなドメイン特化ヘッドを追加することで、データ不足下で生成の安定性と品質が改善されるか。
• RQ3 AdaFMは、ターゲット領域に対して転写されたフィルタを適応させることで測定可能な改善を提供するか。
• RQ4 提案手法は、既存の転移法（例：TransferGAN）や限られたデータでのScratch学習と比較してどうか。

主な発見

• 事前学習済みGANの低レベル生成器／判別器フィルタを転送することで、ターゲット領域での生成品質と学習効率が向上する。
• 高レベルのコンパクトなヘッド（SmallHead）はオーバーフィットを抑制し、スタイルミキシングを可能にする。
• AdaFMは、転写されたフィルタをターゲット領域へ適応的にモジュレーションして性能をさらに向上させる。
• CelebA、Flowers、Cars、Cathedralにおいて、60,000回の反復後に提案手法がTransferGANおよびScratchよりも低いFIDを達成する。
• 極度に限られたデータ（1Kおよび25サンプル）でも手法は安定しており、AdaFMと設計したアーキテクチャから有意な利得を示す。