[論文レビュー] Scalable Analytic Classifiers with Associative Drift Compensation for Class-Incremental Learning of Vision Transformers

Xuan Rao, Mingming Ha+3 more|arXiv (Cornell University)|Jan 29, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

The paper introduces LR-RGDA, a scalable analytic classifier that reduces RGDA complexity via a low-rank perturbation, and HopDC, a training-free drift compensator using continuous Hopfield networks, achieving state-of-the-art class-incremental learning with Vision Transformers.

ABSTRACT

Class-incremental learning (CIL) with Vision Transformers (ViTs) faces a major computational bottleneck during the classifier reconstruction phase, where most existing methods rely on costly iterative stochastic gradient descent (SGD). We observe that analytic Regularized Gaussian Discriminant Analysis (RGDA) provides a Bayes-optimal alternative with accuracy comparable to SGD-based classifiers; however, its quadratic inference complexity limits its use in large-scale CIL scenarios. To overcome this, we propose Low-Rank Factorized RGDA (LR-RGDA), a scalable classifier that combines RGDA's expressivity with the efficiency of linear classifiers. By exploiting the low-rank structure of the covariance via the Woodbury matrix identity, LR-RGDA decomposes the discriminant function into a global affine term refined by a low-rank quadratic perturbation, reducing the inference complexity from $\mathcal{O}(Cd^2)$ to $\mathcal{O}(d^2 + Crd^2)$, where $C$ is the class number, $d$ the feature dimension, and $r \ll d$ the subspace rank. To mitigate representation drift caused by backbone updates, we further introduce Hopfield-based Distribution Compensator (HopDC), a training-free mechanism that uses modern continuous Hopfield Networks to recalibrate historical class statistics through associative memory dynamics on unlabeled anchors, accompanied by a theoretical bound on the estimation error. Extensive experiments on diverse CIL benchmarks demonstrate that our framework achieves state-of-the-art performance, providing a scalable solution for large-scale class-incremental learning with ViTs. Code: https://github.com/raoxuan98-hash/lr_rgda_hopdc.

研究の動機と目的

• Vision Transformers による Class-Incremental Learning (CIL) における分類器再構成の効率–精度トレードオフを解決する。
• RGDA の表現力を維持しつつ推論コストを低減するスケーラブルな解析的分類器を開発する。
• バックボーンの更新によって生じる表現ドリフトを追加の訓練なしで緩和する。
• 訓練不要な仕組みでドリフト下の歴史的クラス統計を再較正する。
• さまざまな ViT バックボーンと CIL 戦略にわたって最先端の性能を示す。

提案手法

• Low-Rank Factorized RGDA (LR-RGDA) を、クラス共分散をグローバル基底とクラス固有の低ランク摂動としてモデル化して開発する。
• Woodbury 行列恒等式を適用して正則化済み共分散の逆行列計算を効率化し、推論コストを削減する。
• LR-RGDA の判別関数を、グローバルなアフィン項と、次元 r (r << d) の部分空間におけるクラス固有の低ランク二次補正に分解する。
• 明示的な判別関数分解を提供する： g_c^{LR-RGDA}(x) = L_c(x) + Q_c(x) で、L_c は B^{-1} μ_c を用い、Q_c は小さい r×r 行列 M_c^{-1} と射影を含む。
• HopDC を導入する。これは訓練不要のドリフト補償器で、Modern Continuous Hopfield Networks を用いて unlabeled anchors による現在の特徴空間への歴史的クラス統計の整合を取る。
• HopDC の注意に基づく検索に起因するドリフト推定誤差の上界を示し、それをドリフト関数のリプシッツ連続性とアンカー密度に関連づけて議論する。

実験結果

リサーチクエスチョン

• RQ1 LR-RGDA は RGDA 推論コストを大幅に削減しつつベイズ最適性能を達成できるか？
• RQ2 バックボーン更新から生じる表現ドリフトを追加の訓練なしでどのように是正できるか？
• RQ3 HopDC はドリフト推定誤差を信頼性高く境界づけ、バックボーン戦略全体で CIL の性能を向上させるか？
• RQ4 LR-RGDA + HopDC の枠組みは多様な ViT バックボーンと Stage-1 アダプテーション手法に対して頑健か？

主な発見

• LR-RGDA は低ランクのクラス固有摂動と Woodbury の逆行列を用いることで、推論の複雑さを O(C d^2) から O(d^2 + C r d) に削減する。
• 判別関数はグローバルなアフィン項と、r 次元の部分空間におけるクラス固有の2次補正に分解され、RGDA の表現力を大幅に低コストで維持する。
• HopDC は unlabeled anchors を用いた連想記憶による歴史的統計の訓練不要の較正を提供し、推定誤差に関する形式的な境界を示す。
• 複数の ViT バックボーンと Stage-1 戦略において最先端の性能を示す実証結果が得られ、HopDC を用いた場合に特に顕著な向上がある。
• LR-RGDA は跨域・同域の CIL ベンチマークで一貫して SGD ベースの分類器を上回り、可塑性バックボーンにおける HopDC がさらに性能を高める。