[論文レビュー] CAM-GAN: Continual Adaptation Modules for Generative Adversarial Networks

Sakshi Varshney, Vinay Kumar Verma+3 more|arXiv (Cornell University)|Mar 6, 2021

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

本稿では、タスク固有のアダプタモジュールと特徴空間における残差バイアスを用いて、深刻な忘却を防ぐメモリ効率の良い継続的学習フレームワークであるCAM-GANを提案する。タスク類似度をフィッシャー情報行列埋め込みを用いて初期化することで、先行手法よりも36%少ないパラメータで最先端の性能を達成する。

ABSTRACT

We present a continual learning approach for generative adversarial networks (GANs), by designing and leveraging parameter-efficient feature map transformations. Our approach is based on learning a set of global and task-specific parameters. The global parameters are fixed across tasks whereas the task-specific parameters act as local adapters for each task, and help in efficiently obtaining task-specific feature maps. Moreover, we propose an element-wise addition of residual bias in the transformed feature space, which further helps stabilize GAN training in such settings. Our approach also leverages task similarity information based on the Fisher information matrix. Leveraging this knowledge from previous tasks significantly improves the model performance. In addition, the similarity measure also helps reduce the parameter growth in continual adaptation and helps to learn a compact model. In contrast to the recent approaches for continually-learned GANs, the proposed approach provides a memory-efficient way to perform effective continual data generation. Through extensive experiments on challenging and diverse datasets, we show that the feature-map-transformation approach outperforms state-of-the-art methods for continually-learned GANs, with substantially fewer parameters. The proposed method generates high-quality samples that can also improve the generative-replay-based continual learning for discriminative tasks.

研究の動機と目的

• 生成的敵対的ネットワーク（GAN）における継続的学習の深刻な忘却問題に取り組むこと。これは識別モデルと比較して、まだ十分に検討されていない。
• パラメータ効率的で拡張可能なアーキテクチャを設計し、以前に学習したタスクの性能低下を回避すること。
• 複数のタスクにわたる高品質なサンプル生成を維持しながら、モデルの成長とFLOPコストを低減すること。
• タスク類似度情報をモデル初期化に組み込むことで、収束を加速し、性能を向上させること。
• 高精度でタスク固有のGANサンプルを用いて、識別的タスクにおける継続的学習のための効果的な生成的リプレイを実現すること。

提案手法

• 初期タスクで訓練された固定グローバルパラメータを有するベースGANを使用し、以降の訓練ではこれらを固定する。
• 各新しいタスクに対して、グローバル特徴マップをタスク固有の特徴マップに変換するためのタスク固有アダプタモジュール（1×1畳み込み）を追加する。これにより、効率的な適応が可能になる。
• 変換された特徴空間に残差バイアスを導入することで、訓練の安定性を向上させ、生成器および識別器の損失の発散を防止する。
• フィルタごとの平均フィッシャー情報行列を用いてタスク類似度を測定し、新しいタスクアダプタの類似度に配慮した初期化を可能にする。
• 更新対象はタスク固有アダプタパラメータのみである動的拡張戦略を採用し、パラメータ成長を最小限に抑える。
• グループワイドおよびポイントワイド畳み込みを効果的に活用することで、タスク固有パラメータの数をコンパクトに保つ。

実験結果

リサーチクエスチョン

• RQ1 パラメータ効率的で拡張可能なGANアーキテクチャは、過去のデータを再トレーニングせずに継続的学習における深刻な忘却を防げるか？
• RQ2 変換された特徴空間における残差バイアスは、継続的GANにおける訓練安定性をどのように向上させるか？
• RQ3 フィッシャー情報行列埋め込みによるタスク類似度の組み込みは、モデル性能の向上とパラメータ要件の低減にどの程度寄与するか？
• RQ4 提案手法は、識別的継続的学習における生成的リプレイに適した高品質でタスク固有のサンプルを生成できるか？
• RQ5 FIDスコアおよびパラメータ効率の観点から、CAM-GANの性能は最先端手法と比べてどのように異なるか？

主な発見

• CAM-GANは、既存手法よりも36%少ないパラメータで複数のデータセットで最先端のFIDスコアを達成し、優れたパラメータ効率を示した。
• 全パラメータの約1%しか占めない1×1アダプタモジュールの導入により性能が著しく向上し、これを除去するとFIDスコアが著しく低下した。
• 変換された特徴空間における残差バイアスは訓練を安定化させ、損失の発散を防ぎ、最大600Kイテレーションにわたる安定な訓練を可能にした。
• タスク類似度に基づく初期化を用いることで、タスク固有パラメータの必要数を最大50%まで削減でき、全パラメータ初期化と同等の性能を維持した。
• グローバルパラメータが固定されたままであるため、深刻な忘却は発生せず、過去のタスクの性能が保持された。
• 生成されたサンプルは高品質であり、識別的タスクにおける継続的学習の性能向上に効果的であった。