[論文レビュー] RanPAC: Random Projections and Pre-trained Models for Continual Learning

Mark D. McDonnell, Dong Gong+3 more|arXiv (Cornell University)|Jul 5, 2023

Domain Adaptation and Few-Shot Learning被引用数 22

ひとこと要約

RanPACは、凍結済みの事前学習モデルの特徴とクラスプロトタイプ出力ヘッドの間に訓練不要のランダム投影層を導入し、プロトタイプのデコレラションとリハーサル用メモリなしのグラム行列ベースの較正を用いることで継続学習を改善します。

ABSTRACT

Continual learning (CL) aims to incrementally learn different tasks (such as classification) in a non-stationary data stream without forgetting old ones. Most CL works focus on tackling catastrophic forgetting under a learning-from-scratch paradigm. However, with the increasing prominence of foundation models, pre-trained models equipped with informative representations have become available for various downstream requirements. Several CL methods based on pre-trained models have been explored, either utilizing pre-extracted features directly (which makes bridging distribution gaps challenging) or incorporating adaptors (which may be subject to forgetting). In this paper, we propose a concise and effective approach for CL with pre-trained models. Given that forgetting occurs during parameter updating, we contemplate an alternative approach that exploits training-free random projectors and class-prototype accumulation, which thus bypasses the issue. Specifically, we inject a frozen Random Projection layer with nonlinear activation between the pre-trained model's feature representations and output head, which captures interactions between features with expanded dimensionality, providing enhanced linear separability for class-prototype-based CL. We also demonstrate the importance of decorrelating the class-prototypes to reduce the distribution disparity when using pre-trained representations. These techniques prove to be effective and circumvent the problem of forgetting for both class- and domain-incremental continual learning. Compared to previous methods applied to pre-trained ViT-B/16 models, we reduce final error rates by between 20% and 62% on seven class-incremental benchmarks, despite not using any rehearsal memory. We conclude that the full potential of pre-trained models for simple, effective, and fast CL has not hitherto been fully tapped. Code is at github.com/RanPAC/RanPAC.

研究の動機と目的

• 訓練を要しないランダム投影が、事前学習済みモデルを用いたクラスプロトタイプベースの継続学習を改善できるかを検討する。
• クラスプロトタイプのデコレラションがタスク間の分布シフトを低減することを示す。
• パラメータ効率の転移学習（PETL）および初回セッション適応との適合性を示す。
• リハーサル用メモリなしで、クラスインクリメンタルおよびドメインインクリメンタルのベンチマークで性能を評価する。

提案手法

• 事前学習済み特徴表現とCPベースの出力ヘッドの間に、非線形活性化を伴う凍結済みのランダム投影 (RP) 層を挿入する。
• グラム行列ベースの較正をリッジ回帰で用いてクラススコアを計算し、GとCをタスク間で逐次更新する。
• クラスプロトタイプのデコレラションにより、クラス間の相関を低減し、識別性を向上させる。
• 初回セッションで訓練され、その後凍結されるPETL法とRPを組み合わせて、ドメイン間のギャップを橋渡しする。
• RP重みを凍結し、最終スコアリングの閉形式リッジ型解 (G + lambda I)^{-1} * C を用いることで訓練効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 凍結されたランダム投影層は、事前学習済みモデルを用いた継続学習においてクラスプロトタイプの線形分離性を改善するか。
• RQ2 クラスプロトタイプのデコレラションが、ドメイン増分およびクラス増分の下でCPベースのCLの較正と精度にどう影響するか。
• RQ3 RPとPETLの組み合わせは、様々なCLベンチマークにおいてリハーサル不要な性能を、共同訓練に近づけるか、あるいはそれを上回るか。
• RQ4 RanPACは、さまざまなバックボーン（ViT、ResNet、CLIP）およびCLシナリオ全体で異なるPETL法と互換性があるか。

主な発見

Method	CIFAR100	IN-R	IN-A	CUB	OB	VTAB	Cars
Joint linear probe	87.9%	72.0%	56.6%	88.7%	78.5%	86.7%	51.7%
L2P	84.6%	72.4%	42.5%	65.2%	64.7%	77.1%	38.2%*
DualPrompt	84.1%	71.0%	45.4%	68.5%	65.5%	81.2%	40.1%*
CODA-Prompt	86.3%	75.5%	44.5%	79.5%	68.7%	87.4%	43.2%
ADaM	87.6%	72.3%	52.6%	87.1%	74.3%	84.3%	41.4%
Ours ( Algorithm 1 )	92.2%	77.9%	62.4%	90.3%	79.9%	92.2%	77.5%

• RanPACは、クラスインクリメンタル評価でCPベースのベースラインに対して、PETL使用時に11%–28%のエラー率低減をもたらす。
• ViT-B/16モデルにおいて、RanPACは従来のCP手法と比較して、いくつかのクラスインクリメンタルおよびドメインインクリメンタルデータセットで最高のリハーサル不要精度を達成する。
• 十分な次元数(M)と非線形性を持つ非線形RP層を用いると、クラスの識別性と最終精度が著しく向上する。
• Gramベースのアプローチによるクラスプロトタイプのデコレラションは、クラス間の相関を低減し、CPを共同訓練された線形プローブと整合させる。これにより較正が向上する。
• RanPACは、クラスインクリメンタル、ドメインインクリメンタル、タスク非依存といったCLシナリオ全般で有効で、任意の特徴ベクトル（ViT、ResNet、CLIP）と互換性がある。
• CPU集約型またはメモリ集約的なリハーサル型手法と比べて、過去データを保持せずに高い性能を実現する。