[論文レビュー] Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning

Da-Wei Zhou, Hailong Sun+2 more|arXiv (Cornell University)|Mar 18, 2024

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

Easeは凍結された事前学習モデル上にタスク固有の軽量アダプターをトレーニングし、クラス増分学習のための拡張可能なサブスペースを作成し、例示なしで旧クラスのプロトタイプを意味的に合成して堅牢なアンサンブル分類器を構築する。

ABSTRACT

Class-Incremental Learning (CIL) requires a learning system to continually learn new classes without forgetting. Despite the strong performance of Pre-Trained Models (PTMs) in CIL, a critical issue persists: learning new classes often results in the overwriting of old ones. Excessive modification of the network causes forgetting, while minimal adjustments lead to an inadequate fit for new classes. As a result, it is desired to figure out a way of efficient model updating without harming former knowledge. In this paper, we propose ExpAndable Subspace Ensemble (EASE) for PTM-based CIL. To enable model updating without conflict, we train a distinct lightweight adapter module for each new task, aiming to create task-specific subspaces. These adapters span a high-dimensional feature space, enabling joint decision-making across multiple subspaces. As data evolves, the expanding subspaces render the old class classifiers incompatible with new-stage spaces. Correspondingly, we design a semantic-guided prototype complement strategy that synthesizes old classes' new features without using any old class instance. Extensive experiments on seven benchmark datasets verify EASE's state-of-the-art performance. Code is available at: https://github.com/sun-hailong/CVPR24-Ease

研究の動機と目的

• バックボーンを上書きする代わりにサブスペースを拡張することで、PTMベースのCILにおける壊滅的忘却の軽減を動機づける。
• PTMを凍結したまま、タスク固有のサブスペースを作成する軽量アダプターを提案する。
• 意味関係に導かれたプロトタイプ補完戦略を開発し、例示なしで旧クラスの分類器を合成する。
• サブスペース全体で予測を統合して、統一されたクラス決定を維持する。
• 7つのベンチマークにおいて、例示を用いない訓練で最先端の性能を示す。

提案手法

• 凍結された事前学習済みトランスフォーマーに、各増分タスクに適用された軽量アダプターを導入して、複数のタスク固有サブスペースを形成する。
• 基盤エンコーダの特徴と全アダプターを結合して、結合された高次元埋め込みを形成する。
• クラスプロトタイプをアダプターごとに計算し、アダプター間で結合したプロトタイプ基準のコサイン分類器を用いる（P_i = [p_i,1, ..., p_i,b]）。
• 共起空間における意味的類似性を用いて新しいサブスペースで旧クラスのプロトタイプを計算し、現在のサブスペースに再構成する（式9）。
• サブスペースのアンサンブルで推論を行い、対角アダプター寄与をより重み付けして（式12）、複数のサブスペースからのロジットを統合する（式11）。
• 増分タスクごとにアダプターのみ（およびプロトタイプによる軽量分類器）を最適化する（式5）。

実験結果

リサーチクエスチョン

• RQ1 凍結されたPTM上のタスク固有の軽量アダプターは、以前に学習した知識を損なうことなく新しいタスクの特徴を捉えることができるか。
• RQ2 旧クラスの例示を持たずに拡張するサブスペースで旧クラスのプロトタイプを合成することは可能か。
• RQ3 意味指向のプロトタイプ補完とサブスペース再重み付けは、例示ベースおよびプロンプトベースのCIL手法と競争力のある、あるいはそれを上回る性能を実現するか。
• RQ4 提案手法は、複数の増分タスクにわたって、メモリとパラメータ予算の観点でどのようにスケールするか。

主な発見

• Easeは、例示なしの訓練で7つのベンチマークで最先端の性能を達成する。
• アダプターを用いたサブスペースは、多様なタスク固有の特徴を提供しつつ、バックボーンを損なわない。
• 意味的プロトタイプ補完は、旧例示を使わずに新しいサブスペースで旧クラスのプロトタイプを再構成できる。
• 推論時にタスク固有のサブスペースを強調することで、最終的な予測を改善する。
• Easeは、他のプロンプトベース手法に匹敵する低いパラメータコストで競争力のある性能を維持する。