[논문 리뷰] Degradation of Feature Space in Continual Learning

Chiara Lanza, Roberto Pereira외 3명|arXiv (Cornell University)|2026. 02. 06.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

본 논문은 특징 공간의 등방성( isotropy ) 강화가 연속 학습 CL에 도움이 되는지 여부를 조사하고, 등방성 정규화가 일반적으로 CL의 성능을 저하시킨다는 것을 발견하며, 중앙집중식 학습과 지속 학습의 기하학 간의 근본적인 차이를 강조한다.

ABSTRACT

Centralized training is the standard paradigm in deep learning, enabling models to learn from a unified dataset in a single location. In such setup, isotropic feature distributions naturally arise as a mean to support well-structured and generalizable representations. In contrast, continual learning operates on streaming and non-stationary data, and trains models incrementally, inherently facing the well-known plasticity-stability dilemma. In such settings, learning dynamics tends to yield increasingly anisotropic feature space. This arises a fundamental question: should isotropy be enforced to achieve a better balance between stability and plasticity, and thereby mitigate catastrophic forgetting? In this paper, we investigate whether promoting feature-space isotropy can enhance representation quality in continual learning. Through experiments using contrastive continual learning techniques on CIFAR-10 and CIFAR-100 data, we find that isotropic regularization fails to improve, and can in fact degrade, model accuracy in continual settings. Our results highlight essential differences in feature geometry between centralized and continual learning, suggesting that isotropy, while beneficial in centralized setups, may not constitute an appropriate inductive bias for non-stationary learning scenarios.

연구 동기 및 목표

• 연속 학습에서 특징 공간의 기하학적 속성 이해를 촉진한다.
• 등방성이 CL에서 더 나은 안정성-가소성 균형을 촉진하는지 평가한다.
• 등방성 및 다운스트림 정확도 측면에서 CL의 대조학습(contrastive learning) 접근법을 비교한다.
• CL에서 등방성 정규화 항의 효과를 평가하고 표현 및 성능에 미치는 영향을 연구한다.

제안 방법

• 다양한 등방성 수준을 갖는 데이터를 시뮬레이션하기 위한 수학적 프레임워크를 개발한다.
• 3D에서 다차원 공간으로 등방성 지표를 일반화한다( IsoEntropy 및 관련 개념).
• CIFAR-10/100에서 SupCon, Co2L, SupCP, NCI 등 여러 대조적 연속 학습 방법을 평가한다.
• CL 손실에 등방성 정규화 항(IsoScore*)을 도입하고 시험하여 그 영향을 연구한다.
• 합성 기준선을 사용하여 등방성 지표를 실제 데이터 실험과 함께 해석한다.
• 분리의 척도로 Mahalanobis 내부/클래스 간 거리로 특징 공간 기하를 평가한다.

Figure 1 : t-SNE visualization for CIFAR-10 dataset with centralized learning and three different CL (CO²L) scenarios: $50+50$ (2 experiences of 5 classes each) $40+30+30$ (3 experiences of 4, 3, and 3 classes), $20\times 5$ (5 experiences of 2 classes each).

실험 결과

연구 질문

• RQ1 특징 공간에서의 등방성 증진이 연속 학습에서 표현 품질과 최종 정확도를 향상시키는가?
• RQ2 비정상적인 데이터 흐름에서 학습된 표현의 등방성에 다양한 CL 방법이 어떤 영향을 미치는가?
• RQ3 등방성 정규화 항이 CL에서 다운스트림 성능을 향상시키거나 해칠 수 있는가?
• RQ4 CL 설정에서 등방성 지표와 실제 분류 정확도 간의 관계는 무엇인가?

주요 결과

시나리오	방법	CIFAR-10 정확도 (표준편차 포함)	CIFAR-10 Mahalanobis 거리 (표준편차 포함)	CIFAR-100 정확도 (표준편차 포함)	CIFAR-100 Mahalanobis 거리 (표준편차 포함)
Centralized	SupCP	94.93 (0.25)	2.48 (0.08)	73.97 (0.20)	2.35 (0.01)
Centralized	SupCon	94.98 (0.07)	10.86 (0.09)	70.24 (0.32)	3.32 (0.05)
50+50	NCI	86.94 (0.31)	1.42 (0.02)	58.79 (0.21)	1.45 (0.01)
50+50	Co 2 L	84.27 (0.16)	2.90 (0.02)	56.37 (0.42)	1.94 (0.02)
40+30+30	SupCP	78.24 (1.21)	1.42 (0.02)	55.89 (0.33)	1.34 (0.01)
40+30+30	SupCon	75.88 (0.39)	2.52 (0.04)	51.65 (0.31)	1.73 (0.02)
40+30+30	NCI	78.83 (0.76)	1.24 (0.02)	50.38 (0.34)	1.14 (0.01)
40+30+30	Co 2 L	77.22 (0.19)	2.03 (0.03)	48.96 (0.33)	1.67 (0.02)
40+30+30	SupCP	64.80 (0.61)	1.16 (0.01)	46.69 (0.39)	1.01 (0.01)
40+30+30	SupCon	62.95 (0.15)	1.96 (0.05)	43.38 (0.60)	1.35 (0.03)
20×5	NCI	72.14 (0.58)	1.06 (0.07)	44.81 (0.40)	1.11 (0.01)
20×5	Co 2 L	70.64 (1.20)	1.40 (0.10)	42.66 (0.65)	1.55 (0.02)
20×5	SupCP	54.47 (3.98)	1.03 (0.07)	41.87 (0.42)	0.99 (0.02)
20×5	SupCon	47.58 (1.68)	1.22 (0.05)	36.19 (0.48)	1.27 (0.02)

• CL에서 경험이 증가함에 따라 등방성은 감소하는 경향이 있으며, 중앙집중식 학습에서는 표현이 더 등방적으로 변한다.
• CL에서 등방성 정규화는 일반적으로 다운스트림 정확도를 저하시켜 CIFAR-10/100 전반에서 때때로 상당히 영향을 준다.
• 증류가 있는 특정 CL 방법들(Co2L 및 NCI)은 더 많은 경험에서 더 높은 등방성을 유지하지만 더 높은 등방성이 항상 더 높은 정확도와 일치하지는 않는다.
• 중앙집중 학습에서는 일부 설정에서 더 높은 등방성이 더 높은 정확도와 상관관계가 있지만 CL 설정에서는 이 상관관계가 깨진다.
• 등방성 정규화(IsoScore*)는 CL에서 등방성 지표를 증가시키지만 종종 정확도를 감소시켜 등방성만으로는 CL의 충분한 최적화 목표가 아님을 시사한다.