[論文レビュー] Memory Replay GANs: learning to generate images from new categories without forgetting

Chenshen Wu, Luis Herranz+4 more|arXiv (Cornell University)|Sep 6, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 66

ひとこと要約

MeRGANsは連続的なGAN訓練における忘却をメモリリプレイを用いて防ぎ、joint trainingまたはreplay alignmentを用いて、MNIST、SVHN、LSUNのタスクで競合的かつより安定した画像生成を実現する。

ABSTRACT

Previous works on sequential learning address the problem of forgetting in discriminative models. In this paper we consider the case of generative models. In particular, we investigate generative adversarial networks (GANs) in the task of learning new categories in a sequential fashion. We first show that sequential fine tuning renders the network unable to properly generate images from previous categories (i.e. forgetting). Addressing this problem, we propose Memory Replay GANs (MeRGANs), a conditional GAN framework that integrates a memory replay generator. We study two methods to prevent forgetting by leveraging these replays, namely joint training with replay and replay alignment. Qualitative and quantitative experimental results in MNIST, SVHN and LSUN datasets show that our memory replay approach can generate competitive images while significantly mitigating the forgetting of previous categories.

研究の動機と目的

• 問題設定：連続的カテゴリ学習下で生成モデルが引き起こす壊滅的忘却の問題を動機づける。
• Memory Replay GANs（MeRGANs）を提案し、メモリリプレイ機構を介して忘却を緩和する。
• 訓練時にリプレイ済みメモリを活用する二つの戦略—リプレイ済みサンプルによる共同訓練とリプレイ整合性—を開発する。
• MeRGANsが複数のデータセットにわたり競争力のある画像を生成しつつ忘却を大幅に低減できることを示す。

提案手法

• カテゴリ条件付けを行う条件付きGANフレームワーク（AC-GANスタイル）を用い、潜在ベクトルzとカテゴリcから画像を生成する。
• 過去のタスクサンプルを再利用してリプレイデータを形成するメモリリプレイ生成器を導入する。
• 忘却防止の二つの戦略： (a) リプレイデータを訓練セットに追加して再訓練を行う結合訓練、(b) 現在の生成器がリプレイ生成器と同じ画像を出力するようにピクセル単位の損失を用いて促すリプレイ整合性。
• 比較の基準としてGANの基礎手法であるWGAN-GPを用いた損失と、補助分類器を使用する場合の分類損失の併用を含む最適化。
• （任意）連続タスクの場合、現在のタスクのパラメータを前のタスクから初期化して継続学習設定を模擬する。

実験結果

リサーチクエスチョン

• RQ1 GANは新しいカテゴリの画像を生成するために連続的に学習する際、壊滅的忘却に苦しむのか。
• RQ2 過去タスクのサンプルを用いたメモリリプレイ戦略は、以前のカテゴリの生成品質を維持するのに役立つのか。
• RQ3 リプレイを用いた結合訓練とリプレイ整合性のどちらが、GANにおける忘却抑制をより安定させるのか。
• RQ4 MeRGANの派生バリアントは、MNIST、SVHN、LSUNの数字生成およびシーン生成タスクで、品質と保持の観点からどのように機能するのか。

主な発見

• MeRGANsは連続的なファインチューニングやいくつかのベースライン（例：EWC、DGR）と比較して、忘却を大幅に緩和する。
• MNISTとSVHNでは、MeRGANは多くのタスクを学習した後でも以前の数字の分類精度をSFTやEWCより高く保持し、MeRGAN-JTRおよびMeRGAN-RAは特にSVHNで性能が向上。
• LSUNではMeRGANの派生がベースラインと比較して高い精度とより良いFIDスコアを達成し、タスク間で品質と多様性が保持されることを示す。
• MeRGAN-RAはLSUNのような複雑なデータセットでMeRGAN-JTRより安定性が高く、保持にもわずかに優れることが多い。
• 定量的にはLSUNで4番目のタスク後、MeRGAN-JTRはAcc.が79.19%、MeRGAN-RAは81.03%、Rev acc.が70.00%、83.62%、FIDがそれぞれ49.69と37.73となり、SFTとEWCはこれらの指標で著しく劣る。