[논문 리뷰] Scalable Analytic Classifiers with Associative Drift Compensation for Class-Incremental Learning of Vision Transformers

Xuan Rao, Mingming Ha외 3명|arXiv (Cornell University)|2026. 01. 29.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

본 논문은 RGDA 복잡도를 저랭크 perturbation으로 감소시키는 확장 가능한 해석적 분류기 LR-RGDA와 훈련 없이 드리프트 보정기를 제공하는 HopDC를 제시하여 Vision Transformers에서 최첨단 클래스 증분 학습을 달성한다.

ABSTRACT

Class-incremental learning (CIL) with Vision Transformers (ViTs) faces a major computational bottleneck during the classifier reconstruction phase, where most existing methods rely on costly iterative stochastic gradient descent (SGD). We observe that analytic Regularized Gaussian Discriminant Analysis (RGDA) provides a Bayes-optimal alternative with accuracy comparable to SGD-based classifiers; however, its quadratic inference complexity limits its use in large-scale CIL scenarios. To overcome this, we propose Low-Rank Factorized RGDA (LR-RGDA), a scalable classifier that combines RGDA's expressivity with the efficiency of linear classifiers. By exploiting the low-rank structure of the covariance via the Woodbury matrix identity, LR-RGDA decomposes the discriminant function into a global affine term refined by a low-rank quadratic perturbation, reducing the inference complexity from $\mathcal{O}(Cd^2)$ to $\mathcal{O}(d^2 + Crd^2)$, where $C$ is the class number, $d$ the feature dimension, and $r \ll d$ the subspace rank. To mitigate representation drift caused by backbone updates, we further introduce Hopfield-based Distribution Compensator (HopDC), a training-free mechanism that uses modern continuous Hopfield Networks to recalibrate historical class statistics through associative memory dynamics on unlabeled anchors, accompanied by a theoretical bound on the estimation error. Extensive experiments on diverse CIL benchmarks demonstrate that our framework achieves state-of-the-art performance, providing a scalable solution for large-scale class-incremental learning with ViTs. Code: https://github.com/raoxuan98-hash/lr_rgda_hopdc.

연구 동기 및 목표

• Vision Transformers를 활용한 Class-Incremental Learning (CIL)에서 분류기 재구성의 효율성과 정확도 간의 트레이드오프를 해결한다.
• RGDA 표현력을 유지하면서 추론 비용을 줄이는 확장 가능한 해석적 분류기를 개발한다.
• 추가 학습 없이 백본 업데이트로 인한 표현 드리프트를 완화한다.
• 드리프트 하에서 과거 클래스 통계를 재보정하는 훈련 없는 기제를 제공한다.
• 다양한 ViT 백본과 CIL 전략 전반에서 최첨단 성능을 입증한다.

제안 방법

• 클래스 공분산을 전역 기반과 클래스별 저랭크 perturbation으로 모델링하여 Low-Rank Factorized RGDA (LR-RGDA)를 개발한다.
• 정규화된 공분산을_efficiently invert_하기 위해 Woodbury 행렬 항등식을 적용하여 추론 복잡도를 감소시킨다.
• LR-RGDA 판별식을 차원 r의 부분공간에서 글로벌 선형항과 클래스별 저랭크 2차 보정으로 분해한다 (r << d).
• 명시적 판별식 분해를 제공합니다: g_c^{LR-RGDA}(x) = L_c(x) + Q_c(x) 이고 L_c는 B^{-1} mu_c를 사용하며 Q_c는 작은 r×r 행렬 M_c^{-1}과 투영을 포함합니다.
• 훈련 없이 드리프트 보정기를 도입하는 HopDC는 Modern Continuous Hopfield Networks를 사용하여 unlabeled anchors를 통해 과거 클래스 통계를 현재 특징 공간에 정렬한다.
• HopDC의 어텐션 기반 검색으로 인한 드리프트 추정 오차에 대한 상한을 증명하고 이를 드리프트 함수의 Lipschitz 연속성과 앵커 밀도와 관련지었다.

실험 결과

연구 질문

• RQ1 LR-RGDA가 RGDA 추론 비용을 대폭 줄이면서 베이즈 최적 성능을 달성할 수 있는가?
• RQ2 백본 업데이트로 인한 표현 드리프트를 추가 학습 없이 어떻게 보정할 수 있는가?
• RQ3 HopDC가 어텐션 기반 검색으로 인한 드리프트 추정 오차를 신뢰성 있게 구한 뒤 CIL 성능을 향상시키는가, 백본 전략에 따라 다르게 나타나는가?
• RQ4 LR-RGDA + HopDC 프레임워크가 다양한 ViT 백본 및 Stage-1 적응 방법에 대해 견고한가?

주요 결과

• LR-RGDA는 저랭크 클래스별 섭 perturbation과 Woodbury 역행렬 계산을 사용하여 추론 복잡도를 O(C d^2)에서 O(d^2 + C r d)로 감소시킨다.
• 판별 함수는 글로벌 선형항과 r차원 부분공간에서의 클래스별 2차 보정으로 분해되어 RGDA 표현력을 유지하면서 비용을 크게 낮춘다.
• HopDC는 비라벨드 앵커를 사용한 연합 기억을 통해 과거 통계를 현재 특성 공간에 맞추는 훈련 없는 보정과 추정에 대한 명확한 오차 상한을 제공한다.
• 다양한 ViT 백본과 Stage-1 전략에서 최첨단 성능이 나타났으며, HopDC를 사용할 때 눈에 띄는 향상이 관측된다.
• LR-RGDA는 도메인 간 및 도메인 내 CIL 벤치마크에서 일관되게 SGD 기반 분류기보다 우수한 성능을 보이며, HopDC가 가변적인 백본에서 추가로 성능을 개선한다.