[論文レビュー] GAN Memory with No Forgetting

Yulai Cong, Miaoyun Zhao+3 more|arXiv (Cornell University)|Jun 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 98被引用数 4

ひとこと要約

本稿では、事前学習済みのGANのスタイル変換を用いて、新しい、知覚的に異なるデータ分布からのリアルなサンプルを生成しながら、以前のタスクを忘れない、継続的学習フレームワーク「GAN Memory」を提案する。生成器および識別器に変更を加えたFiLMおよびAdaIN層を適用することで、最小限の忘却で高精細な再生成を実現し、CIFAR-10およびImageNetベンチマークでベースラインを上回る性能を発揮するとともに、パラメータ圧縮とタスク間の知識共有を可能にする。

ABSTRACT

As a fundamental issue in lifelong learning, catastrophic forgetting is directly caused by inaccessible historical data; accordingly, if the data (information) were memorized perfectly, no forgetting should be expected. Motivated by that, we propose a GAN memory for lifelong learning, which is capable of remembering a stream of datasets via generative processes, with \emph{no} forgetting. Our GAN memory is based on recognizing that one can modulate the "style" of a GAN model to form perceptually-distant targeted generation. Accordingly, we propose to do sequential style modulations atop a well-behaved base GAN model, to form sequential targeted generative models, while simultaneously benefiting from the transferred base knowledge. The GAN memory -- that is motivated by lifelong learning -- is therefore itself manifested by a form of lifelong learning, via forward transfer and modulation of information from prior tasks. Experiments demonstrate the superiority of our method over existing approaches and its effectiveness in alleviating catastrophic forgetting for lifelong classification problems. Code is available at https://github.com/MiaoyunZhao/GANmemory_LifelongLearning.

研究の動機と目的

• 生データの保存ではなく、生成的手法によるデータ分布の記憶により、継続的学習における深刻な忘却を解消すること。
• 既存手法が抱える曇ったまたは低品質なサンプルの制限を回避する、スケーラブルでプライバシー保護型の生成的リプレイ機構を開発すること。
• 高次元データ（例：画像）を長期間にわたるタスク列に対して継続的に学習可能にし、性能の低下を防ぐこと。
• 圧縮可能なタスク固有のスタイルパラメータを通じて、パラメータ効率性とタスク間の知識再利用を実現すること。

提案手法

• 良好に動作する事前学習済みのGANをベースモデルとし、その生成器および識別器を変更されたスタイル変調技術で適応させる。
• 全結合層と畳み込み層のそれぞれを調整するためのmFiLMおよびmAdaFMを導入し、新しい知覚的に異なるドメインへのスタイル転送を可能にする。
• 順次的スタイル変調を適用して、ベースモデルの知識を保持したままタスク固有のGANを生成し、継続的生成記憶を構築する。
• 低ランク近似とパラメータ共有を用いてスタイルパラメータを圧縮し、性能に損なわれることなくモデルサイズを削減する。
• GANメモリをリアルな生成的リプレイメカニズムとして活用し、下流の分類タスクにおける忘却を軽減する。
• 条件付きバージョンへの一般化を実施し、クラス条件付き生成をサポートするとともに、下流タスクの性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1つの事前学習済みGANが、複数の知覚的に異なるデータ分布からのリアルなサンプルを生成可能にしながら、以前のタスクを忘れないように効果的に適応可能か？
• RQ2 スタイル変調技術をGANの生成器および識別器の両方のコンponentsに拡張することで、効果的な継続的学習が可能か？
• RQ3 圧縮によってタスク固有のスタイルパラメータ数をどの程度削減可能か、同時に生成品質と忘却なしを維持できるか？
• RQ4 CIFAR-10やImageNetのような複雑なデータセットにおいて、提案されたGANメモリフレームワークが、既存の生成的リプレイおよびコアセットベースの手法を上回り、深刻な忘却を軽減できるか？
• RQ5 学習されたスタイルパラメータはタスク間で共有または再利用可能か？これにより、成長する生成能力を持つ効率的な継続的学習が可能か？

主な発見

• CIFAR-10で6タスクの設定において、GANメモリはジョイントトレーニングの上限性能から1.5%以内のテスト精度を達成し、継続的学習における優れた性能を示した。
• ImageNetベースのバタフライ分類タスクにおいて、圧縮されたGANメモリはスタイルパラメータ数を最大97.3%（1060万から30万）まで削減しながら、競争力のあるFIDスコアを維持した。
• 圧縮されたGANメモリのFIDスコア（D1で27.67）は、ナイーブバージョン（28.89）と同等であり、性能劣化なしに効果的な圧縮が実現したことを確認した。
• タスク間でのパラメータ共有により、後続タスクに必要な新しいパラメータ数を最大97%まで削減でき、強力な知識再利用性を示した。
• 本手法は、継続的学習ベンチマークで最先端の性能を達成し、既存の生成的リプレイおよびコアセットベースのアプローチを上回った。
• フレームワークは、多様なドメインにわたり、リアルで高精細なサンプル生成を可能にし、6つの連続タスクを経ても深刻な忘却は観察されなかった。