[論文レビュー] Semantic Drift Compensation for Class-Incremental Learning

Lu Yu, Bartłomiej Twardowski+6 more|arXiv (Cornell University)|Apr 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 16

ひとこと要約

本稿では、エムベッディングネットワークにおけるクラスインクリメンタル学習のための意味的ドリフト補正（SDC）を提案する。SDCは、エクジンプリュ（exemplar）を一切使用せずに、現在のタスクのデータのみを用いて、以前のタスクのプロトタイプにおける特徴分布のずれ（意味的ドリフト）を推定・補正する。SDCは忘却を顕著に低減し、エクジンプリュを用いない最先端手法を上回り、CIFAR100およびImageNet-Subsetにおいてエクジンプリュベース手法と同等またはそれを上回る性能を達成する。

ABSTRACT

Class-incremental learning of deep networks sequentially increases the number of classes to be classified. During training, the network has only access to data of one task at a time, where each task contains several classes. In this setting, networks suffer from catastrophic forgetting which refers to the drastic drop in performance on previous tasks. The vast majority of methods have studied this scenario for classification networks, where for each new task the classification layer of the network must be augmented with additional weights to make room for the newly added classes. Embedding networks have the advantage that new classes can be naturally included into the network without adding new weights. Therefore, we study incremental learning for embedding networks. In addition, we propose a new method to estimate the drift, called semantic drift, of features and compensate for it without the need of any exemplars. We approximate the drift of previous tasks based on the drift that is experienced by current task data. We perform experiments on fine-grained datasets, CIFAR100 and ImageNet-Subset. We demonstrate that embedding networks suffer significantly less from catastrophic forgetting. We outperform existing methods which do not require exemplars and obtain competitive results compared to methods which store exemplars. Furthermore, we show that our proposed SDC when combined with existing methods to prevent forgetting consistently improves results.

研究の動機と目的

• プライバシーおよびデータセキュリティ制約下でもエクジンプリュを保存せずに、クラスインクリメンタル学習における崩壊的忘却を解消すること。
• 従来の分類ネットワークと比較して、エムベッディングネットワークが継続的学習において忘却をあまり受けるかどうかを調査すること。
• 新しいタスクの学習中に、以前のタスクのプロトタイプにおける意味的ドリフトを推定・補正する手法を開発すること。
• 既存の正則化手法（例：EWC、MAS、LwF）と互換性を持つ技術を設計し、性能をさらに向上させること。
• 過去のデータの記憶を必要とせず、現在のタスクのデータのみを用いてプロトタイプのドリフトを推定・補正できることを実証すること。

提案手法

• 入力をメトリクス空間にマップするエムベッディングネットワークを用い、クラスプロトタイプをクラス平均として表現することで、アーキテクチャの変更なしに新しいクラスの自然な統合を可能にする。
• 現在のタスクのデータが事前に学習されたプロトタイプに対してどのようにずれているかを分析することで、以前のタスクのプロトタイプにおける意味的ドリフトを推定する。
• 現在のタスクの特徴から導出されたドリフトベクトルを用いて、以前のタスクのプロトタイプを補正することでドリフトを補償する。
• 過去のデータにアクセスせずに、再中心化または再重み付けによって補正を実装する。
• EWC、MAS、LwFなどの既存の正則化手法と統合し、忘却防止の性能を向上させる。
• 学習済みプロトタイプを用いた最近傍クラス平均（NCM）分類を用い、実際のクラス平均と予測されたプロトタイプとの距離を用いてドリフトを評価する。

Figure 1: T-SNE visualization of embedding space after finetuning. A, B, C indicate prototypes of task 1 after training task 1; A’,B’,C’ and D,E,F respectively for task 1 and 2 after training for task 2. The semantic drift (indicating forgetting) from task 1 is given by red vectors. Our method estim

実験結果

リサーチクエスチョン

• RQ1 クラスインクリメンタル学習において、標準的な分類ネットワークと比較して、エムベッディングネットワークは崩壊的忘却を著しく軽減できるか？
• RQ2 現在のタスクのデータのみを用いて、以前のタスクのプロトタイプにおける意味的ドリフトをどの程度正確に推定できるか？
• RQ3 エクジンプリュを保存せずに、プロトタイプのドリフトを補正するための提案手法SDCは、どの程度有効か？
• RQ4 EWC、MASなどの既存の正則化手法とSDCを組み合わせることで、一貫した性能向上が得られるか？
• RQ5 SDCは、エクジンプリュベースおよびエクジンプリュ非ベースの最先端手法と比較して、忘却と精度の両面で優れているか？

主な発見

• エムベッディングネットワークは、従来の分類ネットワークと比較して、崩壊的忘却を著しく軽減しており、継続的学習におけるメトリクスベース学習の利点を示している。
• T-SNEの可視化および距離の定量的測定により、提案手法SDCは、ベースラインの微調整と比較して平均で30%のプロトタイプドリフト低減を達成した。
• CIFAR100では、E-EWC+SDCがEWCに比べ27.6%、iCaRL-CNN（強力なエクジンプリュベース手法）に比べ7.1%高い平均的インクリメンタル精度を達成した。
• ImageNet-Subsetでは、E-EWC+SDCがLwFに比べ35.0%高く、iCaRL-CNNに比べ15.5%高い精度を達成し、平均忘却率はRebalanceに比べ3.5%低い。
• CIFAR100では、最も優れたエクジンプリュベース手法（Rebalance）に比べ、平均忘却率を13.9%低減した。これは、SDCが優れた忘却抑制効果を示していることを裏付ける。
• EWC、MAS、LwFと組み合わせた場合にも一貫して性能向上が見られ、正則化戦略にかかわらず強力な互換性と一般化性能を示した。

Figure 2: Average incremental accuracy for finetuning trained and evaluated with softmax (FT) , finetuning trained with softmax but classified with NCM (FT*), and trained with metric learning loss and classified with NCM (E-FT). In addition, we report joint training (Joint). The results show that co