[論文レビュー] On Leveraging Pretrained GANs for Limited-Data Generation

Miaoyun Zhao, Yulai Cong+1 more|arXiv (Cornell University)|Feb 26, 2020

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

本稿では、事前学習されたGANの低レベルフィルタを生成器および識別器ネットワークから転送することで、限られたデータ条件下での画像生成を改善する手法を提案する。適応的フィルタモodulation（AdaFM）を用いることで、性能と学習効率が向上し、ベースラインと比較して少サンプル生成タスクで優れた結果を達成する。

ABSTRACT

Recent work has shown GANs can generate highly realistic images that are indistinguishable by human. Of particular interest here is the empirical observation that most generated images are not contained in training datasets, indicating potential generalization with GANs. That generalizability makes it appealing to exploit GANs to help applications with limited available data, e.g., augment training data to alleviate overfitting. To better facilitate training a GAN on limited data, we propose to leverage already-available GAN models pretrained on large-scale datasets (like ImageNet) to introduce additional common knowledge (which may not exist within the limited data) following the transfer learning idea. Specifically, exampled by natural image generation tasks, we reveal the fact that low-level filters (those close to observations) of both the generator and discriminator of pretrained GANs can be transferred to help the target limited-data generation. For better adaption of the transferred filters to the target domain, we introduce a new technique named adaptive filter modulation (AdaFM), which provides boosted performance over baseline methods. Unifying the transferred filters and the introduced techniques, we present our method and conduct extensive experiments to demonstrate its training efficiency and better performance on limited-data generation.

研究の動機と目的

• 過学習が一般的な小規模データセット上でGANを効果的に訓練するという課題に対処すること。
• 事前学習されたGANが限られたデータの生成タスクに一般化可能な知識を注入できるかを検討すること。
• 事前学習されたGANの低レベルフィルタ（入力層に近い層）が新しい小規模データセットに転送可能かどうかを調査すること。
• 転送されたフィルタをターゲットドメインに適応させる方法を開発し、その一般化能力を維持すること。
• 限られたデータでの画像生成ベンチマークにおいて、学習効率と生成品質の向上を実証すること。

提案手法

• ImageNetなどの大規模データセットで事前学習されたGAN（例：）の生成器および識別器から低レベルフィルタを転送し、小規模なターゲットデータセットで訓練される新しいGANに適用する。
• 転送されたフィルタを微調整するため、適応的フィルタモジュレーション（AdaFM）を適用し、ターゲットドメインの分布に適応できるようにする。
• 転送され、モodulatedされたフィルタをターゲットGANの初期層の重みとして初期化し、学習された特徴階層を保持する。
• 大規模事前学習モデルからの事前知識を活用しながら、初期化されたフィルタを用いてターゲットGANをエンドツーエンドで訓練する。
• 入力統計に基づいてフィルタ応答を調整する学習可能なモジュールとしてAdaFMを統合し、特徴の整合性を向上させる。
• フィルタ転送とAdaFMを統合した単一の学習フレームワークを構築し、収束性と生成品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習されたGANの低レベルフィルタは、新しい限られたデータの画像生成タスクに一般化可能か？
• RQ2 大規模事前学習GANからのフィルタ転送は、小規模データセットにおける学習効率と性能をどのように向上させるか？
• RQ3 適応的フィルタモジュレーション（AdaFM）は、転送されたフィルタのターゲットドメインへの適応をどの程度向上させるか？
• RQ4 本手法は、少サンプル画像生成において、標準的な微調整やランダム初期化を上回る性能を示すか？
• RQ5 低リソース環境におけるデータ拡張の知識源として、事前学習GANを用いることでどのような影響が生じるか？

主な発見

• 事前学習GANの低レベルフィルタを転送することで、限られたデータのベンチマークにおける生成品質が顕著に向上する。
• AdaFMを用いた本手法は、少サンプル画像生成タスクにおいて、ベースライン手法と比較してインセプションスコアおよびFIDが優れている。
• ランダム初期化と比較して、転送されたフィルタを用いることで、学習収束がより速くなる。
• 最小限のラベル付き例でさえも、異なる自然画像データセットにわたって良好な一般化性能を示す。
• AdaFMは転送されたフィルタを効果的にモジュレートし、特徴の整合性を向上させ、分布シフトを低減する。
• 1クラスあたりたった100枚のトレーニング画像でも、本手法はデータ不足に強く、優れた性能を示す。