[論文レビュー] FIGR: Few-shot Image Generation with Reptile

Louis Clouâtre, Marc Demers|arXiv (Cornell University)|Jan 8, 2019

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 60

ひとこと要約

FIGRはReptileを用いてGANをメタトレーニングし、MNISTとOmniglotのわずか4サンプルからでもfew-shotの画像生成を可能にし、FIGR-8という大規模なfew-shotベンチマークデータセットを導入する。

ABSTRACT

Generative Adversarial Networks (GAN) boast impressive capacity to generate realistic images. However, like much of the field of deep learning, they require an inordinate amount of data to produce results, thereby limiting their usefulness in generating novelty. In the same vein, recent advances in meta-learning have opened the door to many few-shot learning applications. In the present work, we propose Few-shot Image Generation using Reptile (FIGR), a GAN meta-trained with Reptile. Our model successfully generates novel images on both MNIST and Omniglot with as little as 4 images from an unseen class. We further contribute FIGR-8, a new dataset for few-shot image generation, which contains 1,548,944 icons categorized in over 18,409 classes. Trained on FIGR-8, initial results show that our model can generalize to more advanced concepts (such as "bird" and "knife") from as few as 8 samples from a previously unseen class of images and as little as 10 training steps through those 8 images. This work demonstrates the potential of training a GAN for few-shot image generation and aims to set a new benchmark for future work in the domain.

研究の動機と目的

• few-shot画像生成の問題を定義し、GANのメタ学習の動機づけを行う。
• 見たことのないクラスに最小データで適応するよう、Reptileを用いるGANのメタ-trainingフレームワークFIGRを提案する。
• few-shot画像生成をベンチマークする大規模データセットFIGR-8を導入する。
• FIGRが未見クラスから非常に小さなサポートセット（わずか4サンプル）で新規画像を生成できることを示す。

提案手法

• GAN訓練には勾配ペナルティを伴うWasserstein損失を用いる。
• タスク固有データに対する内部SGD更新を伴うReptileアルゴリズムを用いて、generatorとdiscriminatorの両方をメタ訓練する。
• W_tauを介して初期重みをタスク適応後の重み（Phi_d, Phi_g）に近づける外部ループ更新を採用し、迅速な適応を可能にする。
• そのタスクのクラスからのnサンプルを用いて、与えられたタスクに対してK回の勾配ステップを行う内部ループを適用する。
• メタ訓練後、新しいクラスに対して小さな反復でgenerator/discriminatorをさらに更新してfew-shot生成を行う。
• 未知クラス生成を評価するためにMNIST、Omniglot、およびFIGR-8データセットで実験を行う。

実験結果

リサーチクエスチョン

• RQ1 少数の例だけで未知クラスの画像を生成するよう、メタ学習を介してGANを訓練することは可能か？
• RQ2 Reptileベースのメタ訓練は、few-shot画像生成のためのGANの迅速な適応をどのように可能にするか？
• RQ3 標準的なfew-shotベンチマーク（MNIST、Omniglot）および大規模なFIGR-8データセットでのFIGRの性能はどうなるか？
• RQ4 グレースケール画像や外部メモリ、長い推論を必要とせずにこのアプローチは機能するか？

主な発見

• FIGRは未知のMNISTの数字からわずか4サンプルで画像を生成できる。
• Omniglotでは、FIGRは小さなサポートセットで迅速な適応と妥当な生成品質を示す。
• FIGR-8には1,548,944枚の画像が18,409クラスにまたがって含まれており、few-shot生成の挑戦的なベンチマークを提供する。
• FIGR-8の予備結果は、8サンプルと10トレーニングステップから鳥のような形状などの概念を学べることを示している。
• このアプローチは外部メモリや長い順次推論を必要とせず、Reptileメタ訓練を用いたGANフレームワークを使用する。
• Wasserstein損失と勾配ペナルティを用いた訓練は、データセットを横断して安定した性能をもたらす。