[論文レビュー] Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation

Hao Gu, Mao-Lin Luo+4 more|arXiv (Cornell University)|Jan 31, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

要約: 本論文は、不均衡な低秩タスク更新が連続学習における忘却を引き起こすことを示し、EBLoRAを提案して制限されたStiefel多様体最適化を通じてコンポーネント間のエネルギーを平衡化します。

ABSTRACT

Parameter-efficient continual learning aims to adapt pre-trained models to sequential tasks without forgetting previously acquired knowledge. Most existing approaches treat continual learning as avoiding interference with past updates, rather than considering what properties make the current task-specific update naturally preserve previously acquired knowledge. From a knowledge-decomposition perspective, we observe that low-rank adaptations exhibit highly imbalanced singular value spectra: a few dominant components absorb most of the adaptation energy, thereby (i) more likely to disrupt previously acquired knowledge and (ii) making the update more vulnerable to interference from subsequent tasks. To enable explicit balance among components, we decouple the magnitude of the task update from its directional structure and formulate it as a constrained optimization problem on a restricted Stiefel manifold. We address this problem using a projected first-order method compatible with standard deep-learning optimizers used in vision-language models. Our method mitigates both backward and forward forgetting, consistently outperforming continual learning baselines. The implementation code is available at https://github.com/haodotgu/EBLoRA.

研究の動機と目的

• Vision-Languageモデルの継続的学習を動機付けるため、低秩タスク更新の内部構造を検討する。
• LoRA更新における特異値スペクトラムの不均衡が忘却とタスク間干渉に寄与することを特定する。
• 更新の大きさと方向性の構造を分離して知識コンポーネントを平衡化する制約付き最適化フレームワークを提案する。
• 標準的な深層学習パイプラインと互換性のある最適化アルゴリズムを提供し、継続的学習の性能向上を示す。

提案手法

• タスク更新を Delta-W_t = s_t U_t V_t^T としてモデル化し、s_t が大きさを、U_t, V_t は直交列を持つ。
• 更新を制限されたStiefel多様体上に制約し、前のタスクとの勾配直交性を保つことで干渉を低減する。
• 訓練を R x M_t x St(d,r) 上の制約付き最適化として定式化し、SGD/Adam に適合する射影一階法で解く。
• 実用的な初期化と深さ認識的エネルギースケーリングを導入し、タスク間での最適化を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 低秩適応におけるタスク更新の内部特性は、忘却やタスク間干渉にどう影響するか？
• RQ2 適応エネルギーの分布を知識コンポーネント間で平衡化することで継続的学習を改善できるか？
• RQ3 大きさと方向を分離し勾配直交性を強制することで、後向き忘却と前向き転移の両方を低減できるか？
• RQ4 このような制約付き更新を標準的な深層学習訓練ループ内で効率的に最適化することは可能か？

主な発見

• LoRA 更新は特異値スペクトラムが非常に不均衡で、少数の支配的な成分が大部分の適応エネルギーを吸収する。
• スペクトral不均衡はタスク間干渉を増幅し、後続タスクへの脆弱性を高める。
• s_t U_t V_t^T でエネルギーをコンポーネント間で平衡化し、制約（制限されたStiefel多様体）と直交性を課すと、後向き忘却を低減し前向き転移を改善する。
• EBLoRA は MFN および FWT 指標で UCIT と MLLM-DCL ベンチマークにおいてベースラインを上回り、適応性を維持する。
• 勾配直交性と深さ認識的初期化のアブレーションは、エネルギー平衡化だけよりもさらに性能を向上させる。