[논문 리뷰] Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation

Hao Gu, Mao-Lin Luo외 4명|arXiv (Cornell University)|2026. 01. 31.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

이 논문은 불균형 저랭크 태스크 업데이트(LoRA에서처럼)가 연속 학습에서 망각을 유발한다는 사실을 보이고, EBLoRA가 제한된 Stiefel 다양체 최적화를 통해 구성 요소 간 에너지를 균형 있게 조절한다는 것을 제시한다.

ABSTRACT

Parameter-efficient continual learning aims to adapt pre-trained models to sequential tasks without forgetting previously acquired knowledge. Most existing approaches treat continual learning as avoiding interference with past updates, rather than considering what properties make the current task-specific update naturally preserve previously acquired knowledge. From a knowledge-decomposition perspective, we observe that low-rank adaptations exhibit highly imbalanced singular value spectra: a few dominant components absorb most of the adaptation energy, thereby (i) more likely to disrupt previously acquired knowledge and (ii) making the update more vulnerable to interference from subsequent tasks. To enable explicit balance among components, we decouple the magnitude of the task update from its directional structure and formulate it as a constrained optimization problem on a restricted Stiefel manifold. We address this problem using a projected first-order method compatible with standard deep-learning optimizers used in vision-language models. Our method mitigates both backward and forward forgetting, consistently outperforming continual learning baselines. The implementation code is available at https://github.com/haodotgu/EBLoRA.

연구 동기 및 목표

• 저차 태스크 업데이트의 내부 구조를 살펴보고 비전-언어 모델을 위한 연속 학습의 필요성을 고취한다.
• LoRA 업데이트의 불균형적인 특이값 스펙트럼이 망각과 태스크 간 간섭에 어떻게 기여하는지 규명한다.
• 지식 구성요소의 균형을 맞추기 위해 업데이트 크기와 방향 구조를 분리하는 제약 최적화 프레임워크를 제안한다.
• 표준 딥러닝 파이프라인과 호환되는 최적화 알고리즘을 제공하고 향상된 연속 학습 성능을 입증한다.

제안 방법

• 태스크 업데이트를 Delta-W_t = s_t U_t V_t^T 로 모델링하되, s_t가 크기를 제어하고 U_t, V_t의 열이 직교한다.
• 이전 태스크에 대한 그래디언트 직교성을 갖도록 업데이트를 제한된 Stiefel 다양체에 놓여 있도록 제약해간다(간섭 감소).
• 훈련을 R x M_t x St(d,r)에서의 제약 최적화로 형식화하고, SGD/Adam에 호환되는 투영된 1차 방법으로 해결한다.
• 실용적인 초기화와 깊이 의존적 에너지 스케일링을 도입하여 태스크 간 최적화의 안정성을 높인다.

실험 결과

연구 질문

• RQ1 저차 적응에서 태스크 업데이트의 어떤 내부 특성이 망각과 태스크 간 간섭에 영향을 미치는가?
• RQ2 지식 구성요소 간 적응 에너지를 균형 있게 배분할 수 있어 연속 학습을 개선할 수 있는가?
• RQ3 크기와 방향을 분리하고 그래디언트 직교성을 강제하는 것이 역방향 망각과 순방향 전이 모두를 줄이는가?
• RQ4 표준 딥러닝 학습 루프 내에서 이러한 제약된 업데이트를 효율적으로 최적화하는 것이 가능한가?

주요 결과

• LoRA 업데이트는 매우 불균형한 특이값 스펙트럼을 보이며, 소수의 지배적인 구성요소가 대부분의 적응 에너지를 흡수한다.
• 스펙트럴 불균형은 태스크 간 간섭을 증폭시키고 이후 태스크에 대한 취약성을 증가시킨다.
• s_t U_t V_t^T 및 직교성 제약(제한된 Stiefel 다양체)을 통해 구성요소 간 에너지를 균형화하면 역방향 망각을 줄이고 순방향 전이 성능을 향상시킨다.
• EBLoRA가 UCIT 및 MLLM-DCL 벤치마크에서 MFN 및 FWT 지표로 기준선보다 우수한 성능을 보이며 적응성도 유지한다.
• 아블레이션 결과는 그래디언트 직교성과 깊이 의존 초기화가 에너지 균형만으로는 달성하기 어려운 성능 향상을 추가로 가져옴을 보여준다.