[論文レビュー] Probing Representation Forgetting in Supervised and Unsupervised Continual Learning

MohammadReza Davari, Nader Asadi+3 more|arXiv (Cornell University)|Mar 24, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、継続的学習（CL）のための新しい評価フレームワークを導入し、最適な線形プローブ（LP）を用いて表現の忘れられることを測定する。その結果、教師あり対照学習（SupCon）を用いた単純なファインチューニングは、表現の忘れが最小限に抑えられ、しばしば専用のCL手法を上回ることが判明した。主な貢献は、小さなメモリベースのプロトタイプ再取得を組み合わせたSupConベースのファインチューニングが、明示的な忘れの制御を用いずに、迅速な回復と競争力のある性能を実現できることを示したことである。

ABSTRACT

Continual Learning research typically focuses on tackling the phenomenon of catastrophic forgetting in neural networks. Catastrophic forgetting is associated with an abrupt loss of knowledge previously learned by a model when the task, or more broadly the data distribution, being trained on changes. In supervised learning problems this forgetting, resulting from a change in the model's representation, is typically measured or observed by evaluating the decrease in old task performance. However, a model's representation can change without losing knowledge about prior tasks. In this work we consider the concept of representation forgetting, observed by using the difference in performance of an optimal linear classifier before and after a new task is introduced. Using this tool we revisit a number of standard continual learning benchmarks and observe that, through this lens, model representations trained without any explicit control for forgetting often experience small representation forgetting and can sometimes be comparable to methods which explicitly control for forgetting, especially in longer task sequences. We also show that representation forgetting can lead to new insights on the effect of model capacity and loss function used in continual learning. Based on our results, we show that a simple yet competitive approach is to learn representations continually with standard supervised contrastive learning while constructing prototypes of class samples when queried on old samples.

研究の動機と目的

• 災難的忘却を測る標準的な正答率指標の限界を解消するため、微小な表現変化と実際の知識喪失を区別できない可能性があること。
• 標準的なファインチューニングおよび自己教師付きCL手法において、以前のタスクに有用な特徴が失われる表現の忘れが生じるかどうかを調査する。
• 線形プローブを用いた分析を通じて、モデル容量および損失関数が表現の忘れに与える影響を評価する。
• 明示的な忘れの制御機構を避ける、シンプルでメモリ効率の良い継続的学習における迅速な記憶回復手法を提案する。
• タスク正答率だけでなく、表現の有用性そのものが継続的学習の性能評価において重要な指標であることを示す。

提案手法

• 中間層の特徴活性化から学習された最適な線形プローブ（LP）を用いて、以前のタスクの表現の有用性を評価する。
• 新しいタスクの学習後に、古いタスクのデータに対するLP分類器の性能低下として表現の忘れを測定する。
• 教師ありおよび自己教師付き設定の下で、標準的なCLベンチマーク（例：SplitCIFAR100、ImageNet-Scenes-CUB-Flowers）にこの評価を適用する。
• SupConファインチューニングと小さなクラスプロトタイプ記憶（NME）を組み合わせた手法を提案し、古いタスクの迅速な回復を可能にする。
• LPを用いた忘れと標準的な正答率指標を比較し、補助的な類似度指標としてCKA（中心化カーネル整合性）を用いる。
• 複数のタスクシーケンスにおいて、標準的なResNetおよびVGGアーキテクチャを用いて、深さ方向の表現変化を分析する。

Figure 1 : Performance on ImageNet during the sequence (ImageNet→Scenes→CUB→Flowers) using ResNet18. We observe that although observed accuracy heavily degrades the LP accuracy, in finetuning does not decay as drastically and can rival LP accuracy of methods such as LwF and EWC. Moreover, we observe

実験結果

リサーチクエスチョン

• RQ1 標準的な正答率指標は、継続的学習における真の表現の忘れをどれほど誤って捉えているのか？
• RQ2 継続的学習において、異なるモデルアーキテクチャや損失関数の下で、表現の忘れはどのように変化するか？
• RQ3 SupConやSimCLRを用いた単純なファインチューニングは、専用のCL手法よりも優れた表現保持を達成できるか？
• RQ4 モデルの深さや幅を増やすことで表現の忘れが減少するか？その効果はLP評価を通じてのみ顕在化するのか？
• RQ5 SupConと小さなプロトタイプ記憶を用いた単純な手法は、明示的な忘れの制御を用いずに、古いタスクの迅速な記憶回復を可能にするか？

主な発見

• 単純なファインチューニングにおける表現の忘れは、標準的な正答率指標が示すよりも顕著に低い。ResNetの最終ブロックでは、2タスクのSplitCIFAR10設定でLP正答率が5.72%低下したにとどまる。
• NMEメモリを用いたSupConファインチューニングは、10タスクのSplitCIFAR100シーケンスで平均53.9%の正答率を達成し、LwF（47.7%）を上回り、ER-M5（54.8%）に近い性能を示した。
• 表現の有用性は初期のネットワーク層で高いままである：ResNetブロックB-0ではタスク2後で1.08%向上、B-1では1.26%向上し、低レベル特徴における最小限の忘れを示している。
• 忘れは深い層に集中している：ResNetブロックB-5ではLP正答率が5.72%低下したが、これは観察されたタスク正答率の22%低下ほど深刻な結果ではない。
• 幅広く、深くしたモデルではLP評価を通じて、表現の忘れが減少する傾向が見られ、これは標準的な正答率指標では明確に現れない。
• 提案手法であるSupCon + NMEは、トレーニング中にメモリにアクセスを必要とせず、古いタスクの迅速な回復を可能にし、強い実用的価値を示している。

Figure 3 : 10-Task SplitCIFAR100. We compare observed acc. and linear probe acc. Naively finetuning with CE does poorly if using the observed accuracy. However using the LP based evaluation we observe that performance gap to other methods is lower. Furthermore when finetuning is performed instead wi