[論文レビュー] SLCA: Slow Learner with Classifier Alignment for Continual Learning on a Pre-trained Model

Gengwei Zhang, Liyuan Wang+3 more|arXiv (Cornell University)|Mar 9, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、表現層の段階的過学習を緩和し、分類一般化を向上させるために、ゆっくり学習戦略と分類器アライメントを組み合わせた、事前学習モデルにおける継続的学習（CLPM）のための単純ながらも非常に効果的な手法SLCAを提案する。表現層の学習率を意図的に低くすることで過学習を抑制し、後処理的にクラスごとの特徴分布をアライメントすることで、分類器の性能を向上させる。このアプローチにより、SOTA性能を達成し、Split ImageNet-Rでは順次微調整を最大50.05%向上させ、先行手法を大きく上回る。

ABSTRACT

The goal of continual learning is to improve the performance of recognition models in learning sequentially arrived data. Although most existing works are established on the premise of learning from scratch, growing efforts have been devoted to incorporating the benefits of pre-training. However, how to adaptively exploit the pre-trained knowledge for each incremental task while maintaining its generalizability remains an open question. In this work, we present an extensive analysis for continual learning on a pre-trained model (CLPM), and attribute the key challenge to a progressive overfitting problem. Observing that selectively reducing the learning rate can almost resolve this issue in the representation layer, we propose a simple but extremely effective approach named Slow Learner with Classifier Alignment (SLCA), which further improves the classification layer by modeling the class-wise distributions and aligning the classification layers in a post-hoc fashion. Across a variety of scenarios, our proposal provides substantial improvements for CLPM (e.g., up to 49.76%, 50.05%, 44.69% and 40.16% on Split CIFAR-100, Split ImageNet-R, Split CUB-200 and Split Cars-196, respectively), and thus outperforms state-of-the-art approaches by a large margin. Based on such a strong baseline, critical factors and promising directions are analyzed in-depth to facilitate subsequent research. Code has been made available at: https://github.com/GengDavid/SLCA.

研究の動機と目的

• 事前学習モデルにおける継続的学習（CLPM）における段階的過学習の課題に取り組むこと。特に、均一な学習率が表現層を段階的なタスクに過学習させる要因となること。
• 表現層と分類層のより効果的な適応により、事前学習済み知識のタスク間での一般化性能を向上させること。
• 既存のプロンプトベースや微調整手法を上回る、強力で単純なCLPMのベースラインを確立すること。
• CLPM性能に影響を与える重要な要因、たとえば事前学習パラダイムや下流タスクの粒度を同定すること。

提案手法

• 表現層の学習率を意図的に低くすることで、過学習を防ぎ、一般化性能を維持するゆっくり学習戦略を導入する。
• 後処理的分類器アライメント（CA）手法を提案。クラスごとの特徴分布をモデル化し、タスク間で予測をアライメントすることで、分類層の性能を向上させる。
• 各クラスの特徴量の平均と共分散（μ_c, Σ_c）を用いてアライメントを計算し、バックボーンの再訓練なしに効果的な分布マッチングを実現する。
• 効率性を高めるために共分散行列を分散（σ²_c）に簡略化し、ViT-B/16パラメータのわずか0.18%のストレージで済ませながら、精度の低下を最小限に抑える。
• アライメント処理を後処理的に適用することで、表現学習中に干渉を避ける。これにより、そうでない場合に性能が低下するのを防ぐ。
• アダプターやプロンプト機構を複雑にせず、ゆっくり学習とCAを組み合わせた順次微調整を強力なベースラインとして採用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルを用いているにもかかわらず、なぜ従来の順次微調整ベースラインはプロンプトベース手法に比べて性能が低いのか？
• RQ2 単純なゆっくり学習戦略は、継続的学習中に事前学習モデルの表現層における段階的過学習をどの程度緩和できるのか？
• RQ3 バックボーンの再訓練なしに、後処理的分類器アライメントは分類一般化性能をどの程度向上できるのか？
• RQ4 事前学習パラダイム（教師あり vs. 自己教師あり）と下流タスクの粒度は、CLPM性能にどのように影響を与えるのか？
• RQ5 軽量で後処理的なアライメント手法は、複雑なプロンプトベース手法を上回ることができるのか？

主な発見

• SLCAは、Split CIFAR-100で最大49.76%、Split ImageNet-Rで50.05%、Split CUB-200で44.69%、Split Cars-196で40.16%の順次微調整性能向上を達成し、SOTA手法を大きく上回る。
• ゆっくり学習戦略のみでも、表現層の段階的過学習が顕著に軽減され、ImageNet-21Kの教師あり事前学習下で、Split CIFAR-100で47.09%、Split ImageNet-Rで44.85%の性能向上を達成した。
• 層正規化を組み合わせた分類器アライメント（CA+LN）は、特に細分化された下流タスクで顕著な向上を示し、Split CUB-200で最大19.64%の向上を達成した。
• 固定表現でも後処理的分類器アライメントが性能向上をもたらすため、表現の更新とは独立して有効であることが示された。
• 計算効率が高く、アライメント処理による推論時間の追加は全推論時間の0.67%〜5%にとどまり、ストレージも最小限（ViT-B/16パラメータの0.18%）に抑えられる。
• 自己教師あり事前学習では、ベースラインと統合学習の間で性能差が顕著に大きくなることが判明し、下流の継続的学習に最適化された新たな事前学習パラダイムの必要性が浮き彫りになった。