[論文レビュー] Generative Feature Replay For Class-Incremental Learning

Xialei Liu, Chenshen Wu+6 more|arXiv (Cornell University)|Apr 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 59被引用数 10

ひとこと要約

本論文では、画像の代わりに高レベル特徴を生成することで、災難的忘却を回避するクラスインクリメンタル学習手法である生成的特徴リプレイ（GFR）を提案する。特徴抽出器における特徴 distillation と分類器における生成的リプレイを組み合わせ、エキジンプラルベースの手法に比べて数千枚の保存サンプルを必要としない最小限のストレージ（生成器に4.5MB）で、CIFAR-100およびImageNetで最先端の精度を達成する。

ABSTRACT

Humans are capable of learning new tasks without forgetting previous ones, while neural networks fail due to catastrophic forgetting between new and previously-learned tasks. We consider a class-incremental setting which means that the task-ID is unknown at inference time. The imbalance between old and new classes typically results in a bias of the network towards the newest ones. This imbalance problem can either be addressed by storing exemplars from previous tasks, or by using image replay methods. However, the latter can only be applied to toy datasets since image generation for complex datasets is a hard problem. We propose a solution to the imbalance problem based on generative feature replay which does not require any exemplars. To do this, we split the network into two parts: a feature extractor and a classifier. To prevent forgetting, we combine generative feature replay in the classifier with feature distillation in the feature extractor. Through feature generation, our method reduces the complexity of generative replay and prevents the imbalance problem. Our approach is computationally efficient and scalable to large datasets. Experiments confirm that our approach achieves state-of-the-art results on CIFAR-100 and ImageNet, while requiring only a fraction of the storage needed for exemplar-based continual learning. Code available at \url{https://github.com/xialeiliu/GFR-IL}.

研究の動機と目的

• 推論時におけるタスクIDの未知性に起因する災難的忘却を解消すること。
• 過去のタスクからの限られたデータがもたらす不均衡問題を克服し、分類器が新しいクラスに偏らないようにすること。
• プライバシーまたはストレージ制約により、過去のタスクのエキジンプラルを保存する必要を排除すること。
• ImageNetのような大規模データセットへのスケーラビリティを向上させるために、複雑な画像生成を単純な特徴生成に置き換えること。
• エキジンプラルベースのアプローチと比較して、顕著に低いメモリオーバーヘッドで最先端のパフォーマンスを達成すること。

提案手法

• ネットワークは特徴抽出器と分類器に分割され、特徴抽出器は過去のタスクの知識を保持するために特徴 distillation を用いて訓練される。
• 生成的リプレイは、生画像の代わりに高レベル特徴（例：最終全結合層からの特徴）に適用され、生成の複雑さが低減される。
• 生成器は過去のタスクの特徴を合成し、現在のタスクの訓練時にそれらを用いてクラス分布のバランスを取る。
• 特徴抽出器に特徴 distillation を適用することで、タスク間での表現安定性を維持する。
• 特徴生成には GAN やガウスノイズを用い、アブレーションスタディにより最適な特徴深さ（depth）を同定した。
• 本手法は、訓練中に生成された特徴と現在のタスクデータを動的に組み合わせ、保存されたエキジンプラルに依存しない。

Figure 1: Comparison of generative image replay and the proposed generative feature replay. Instead of replaying images $x$ the proposed method uses a generator $G$ to replay features $u$ . To prevent forgetting in the feature extractor $F$ we apply feature distillation. Feature replay allows us to

実験結果

リサーチクエスチョン

• RQ1 エキジンプラルを保存せずに、生成的特徴リプレイがクラスインクリメンタル学習における災難的忘却を効果的に軽減できるか？
• RQ2 画像の代わりに高レベル特徴を生成することで、ImageNetのような大規模データセットにおいて、より良いパフォーマンスとスケーラビリティが得られるか？
• RQ3 特徴深さの選択（例：ブロックレベル対最終層）が、生成的リプレイのパフォーマンスに与える影響は何か？
• RQ4 特徴 distillation と生成的リプレイを組み合わせたアプローチが、エキジンプラルベースおよび画像生成ベースの手法を上回る精度とメモリ効率を達成できるか？
• RQ5 特に長尾クラスインクリメンタル設定下で、タスク数の増加に伴う本手法の性能はいかがなものか？

主な発見

• 25タスクのCIFAR-100では、GFRはiCaRL-NMEを大きく上回り、エキジンプラルを一切使用していないにもかかわらず、Rebalanceと同等の結果を達成した。
• ImageNet-1000では、生成器に4.5MBのメモリしか必要とせず、最先端の精度を達成した。これは、iCaRLがクラスあたり20個のエキジンプラルを必要とする3.8GBと比べて顕著に少ない。
• GANを用いた特徴生成の手法はガウスノイズリプレイを上回り、特にタスク数が増加するにつれてRebalanceを大きく上回った。
• アブレーションスタディの結果、ブロック4（高レベル特徴）からのリプレイでは平均57.6%の精度を達成したが、低レベルリプレイ（ブロック1）では80.7%に低下した。これは、高レベル特徴が生成しやすく、より効果的であることを示している。
• メモリ使用量は顕著に削減された：GFRは4.5MBに留まり、iCaRLの375MBおよびMeRGANの8.5MBを下回った。さらに、ImageNetではMeRGANを上回るパフォーマンスを達成した。
• 特徴抽出器における特徴 distillation は表現の安定性を維持する助けとなり、CCA解析により、忘却が最も深刻に現れるのは深層部であることが確認され、高レベル特徴に注目する正当性が裏付けられた。

Figure 2: Canonical Correlation Analysis (CCA) similarity of different continual learning methods performed on equally distributed 4-task scenario on CIFAR-100. The vertical axis shows the evolution over time of the correlation for given task activations. The horizontal axis shows correlation at dif