[論文レビュー] A Simple Baseline that Questions the Use of Pretrained-Models in Continual Learning

Paul Janson, Wenxuan Zhang+2 more|arXiv (Cornell University)|Oct 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

この論文は、継続的学習のための特徴抽出に固定された事前学習済みトランスフォーマーを用いた単純な最近傍平均分類器（NMC）ベースラインを提案し、Split-CIFAR100で平均83.70%の精度を達成した。これは大多数の最先端手法を上回るものであり、事前学習された表現そのものだけで高い有効性を示すものであり、複雑な継続的学習メカニズムの必要性を疑問視するものである。

ABSTRACT

With the success of pretraining techniques in representation learning, a number of continual learning methods based on pretrained models have been proposed. Some of these methods design continual learning mechanisms on the pre-trained representations and only allow minimum updates or even no updates of the backbone models during the training of continual learning. In this paper, we question whether the complexity of these models is needed to achieve good performance by comparing them to a simple baseline that we designed. We argue that the pretrained feature extractor itself can be strong enough to achieve a competitive or even better continual learning performance on Split-CIFAR100 and CoRe 50 benchmarks. To validate this, we conduct a very simple baseline that 1) use the frozen pretrained model to extract image features for every class encountered during the continual learning stage and compute their corresponding mean features on training data, and 2) predict the class of the input based on the nearest neighbor distance between test samples and mean features of the classes; i.e., Nearest Mean Classifier (NMC). This baseline is single-headed, exemplar-free, and can be task-free (by updating the means continually). This baseline achieved 88.53% on 10-Split-CIFAR-100, surpassing most state-of-the-art continual learning methods that are all initialized using the same pretrained transformer model. We hope our baseline may encourage future progress in designing learning systems that can continually add quality to the learning representations even if they started from some pretrained weights.

研究の動機と目的

• 事前学習モデルを用いる際、複雑な継続的学習手法が本当に必要かどうかを評価すること。
• 事前学習モデルの表現能力が強力な継続的学習性能を達成するのに十分かどうかを調査すること。
• タスクラベル、エクジンプラ、リプレイデータを一切使用しない最小限のベースラインを提案すること。
• 分布シフトに伴う性能維持のために、継続的微調整やアーキテクチャの変更が必須であるという仮定を検証すること。
• 今後の手法が、単に忘却を緩和することに注力するのではなく、時間経過に伴う表現品質の向上に注力すべきであることを促すこと。

提案手法

• 事前学習済みトランスフォーマーバックボーンを固定し、すべての学習サンプルから特徴を抽出する。
• 各タスクについて、学習中にクラスごとの平均特徴埋め込みを計算する。
• 推論時、L2距離に基づいてクラス平均特徴への最近傍ルールを用いてテストサンプルを分類する。
• エクジンプラを保存せずに、タスクフリーな方法でクラス平均特徴を段階的に更新する。
• 公平な評価のため、すべての比較で同一の事前学習バックボーンを使用する。
• リプレイバッファサイズをゼロとした状態で、Split-CIFAR100、CoRe50、Split-ImageNet-R、および5データセットベンチマークで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 固定された事前学習済み特徴を用いた単純な最近傍平均分類器が、競争力ある継続的学習性能を達成できるか？
• RQ2 事前学習特徴がすでに頑健である場合、最先端の継続的学習手法の複雑さは本当に必要か？
• RQ3 リプレイ、タスクラベル、動的アーキテクチャ拡張を用いるSOTA手法と比較して、最小限のベースラインはどのように差をつけるか？
• RQ4 継続的学習における分布シフトの影響で、事前学習モデルの表現品質は劣化するか？
• RQ5 多数のSOTA手法が、単に忘却を緩和しているだけで、事前学習モデルの表現品質を向上させているわけではないのでは？

主な発見

• 提案されたNMCベースラインは、10-Split-CIFAR100で83.70%の平均精度を達成し、同じ事前学習バックボーンを用いた大多数のSOTA手法を上回った。
• CoRe50では83.23%の平均精度を達成し、L2P（78.33%）を上回り、より複雑な手法と同等の性能を示した。
• リプレイバッファを一切使用せずに、Split-ImageNet-Rおよび5データセットベンチマークでも競争力ある結果を達成した。
• リプレイバッファをゼロとした状態で、エクジンプラを必要としない複数のSOTA手法（L2PやBiCなど）を上回った。
• 結果から、事前学習モデルが強力で頑健な表現を提供しており、多くの場合、必要な不変性の大部分をすでに捉え込んでいることが示唆された。これにより、複雑な継続的学習メカニズムの必要性が低下する。
• 本研究は、多くのSOTA手法が、事前学習モデルの表現品質を向上させているわけではなく、むしろ単に忘却を緩和している可能性を浮き彫りにした。