[논문 리뷰] Context Channel Capacity: An Information-Theoretic Framework for Understanding Catastrophic Forgetting

Ran Cheng|arXiv (Cornell University)|2026. 03. 08.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

논문은 맥락 채널 용량(Context Channel Capacity, C_ctx)을 도입하여 연속 학습에서의 파국적 망각을 설명하고, 순차 상태 기반 학습자에 대한 불가능성 삼각형(Impossibility Triangle)을 증명하며, HyperNetworks가 맥락에서 매개변수를 생성해 이를 우회할 수 있음을 보여준다. Split-MNIST에서 강력한 실증 검증과 함께.

ABSTRACT

Catastrophic forgetting remains a central challenge in continual learning (CL), yet lacks a unified information-theoretic explanation for why some architectures forget catastrophically while others do not. We introduce \emph{Context Channel Capacity} ($C_\mathrm{ctx}$), the mutual information between a CL architecture's context signal and its generated parameters, and prove that zero forgetting requires $C_\mathrm{ctx} \geq H(T)$, where $H(T)$ is the task identity entropy. We establish an \emph{Impossibility Triangle} -- zero forgetting, online learning, and finite parameters cannot be simultaneously satisfied by sequential state-based learners -- and show that conditional regeneration architectures (HyperNetworks) bypass this triangle by redefining parameters as function values rather than states. We validate this framework across 8 CL methods on Split-MNIST (1,130+ experiments over 86 days, 4 seeds each), showing that $C_\mathrm{ctx}$ perfectly predicts forgetting behavior: methods with $C_\mathrm{ctx} = 0$ (NaiveSGD, EWC, SI, LwF, CFlow) exhibit catastrophic forgetting (6--97\%), while methods with $C_\mathrm{ctx} \approx 1$ (HyperNetwork) achieve zero forgetting (98.8\% ACC). We further propose \emph{Wrong-Context Probing} (P5), a practical diagnostic protocol for measuring $C_\mathrm{ctx}$, and extend the framework to CIFAR-10 via a novel \emph{Gradient Context Encoder} that closes the oracle gap from 23.3pp to 0.7pp. A systematic taxonomy of 15+ closed research directions -- including the Hebbian null result (frozen random features outperform learned features), CFlow's $θ_0$-memorizer phenomenon, and the $S_N$ symmetry barrier to column specialization -- provides the community with precisely diagnosed negative results. Our central design principle: \emph{architecture over algorithm} -- the context pathway must be structurally unbypassable.

연구 동기 및 목표

• 연속 학습(CL) 내에서의 파국적 망각을 정보 이론적 프레임워크로 동기 부여 및 형식화한다.
• Context Channel Capacity(C_ctx)를 CL 아키텍처의 맥락과 생성된 매개변수 간의 상호정보(I(c; θ(c)))로 정의한다.
• 제로 망각이 필요로 하는 조건이 C_ctx ≥ H(T)임을 증명하고 순차 상태 기반 학습자에 대한 불가능성 삼각형을 확립한다.
• CL 아키텍처를 C_ctx 체계에 따라 분류하고 조건부 재생(하이퍼네트워크)이 삼각형을 우회하는 방법을 보인다.
• Split-MNIST에서 여러 CL 방법에 대한 실증 검증을 제공하고 Gradient Context Encoder를 사용하여 CIFAR-10으로 프레임워크를 확장한다.

제안 방법

• 연속 학습을 인과 관계 제약을 가진 제약된 온라인 코딩으로 형식화한다.
• Context Channel Capacity C_ctx = max_P(c) I(c; θ(c))를 도입하고 CCC 한계에 의한 망각에서의 역할을 증명한다.
• 불가능성 삼각형을 증명한다: 제로 망각, 온라인 학습, 매개변수의 유한성이 순차 상태 기반 학습자에게 동시에 성립할 수 없음을 보인다.
• C_ctx를 기준으로 CL 아키텍처를 세 가지 전형으로 분류한다: State Protection(C_ctx=0), State Transformation(C_ctx≈0), 및 Conditional Regeneration(C_ctx≫H(T)).
• Wrong-Context Probing(P5)를 C_ctx를 측정하기 위한 실용적 대리 지표로 시연한다.
• Split-MNIST에서 8개의 CL 방법에 대해 실험적으로 검증하고(1,130+ 실험) 프레임워크를 CIFAR-10으로 확장하여 Gradient Context Encoder를 도입한다.

(a) Neuron activation overlap (Jaccard index) across tasks. Output layer overlap $=0.947$ ; hidden layers $>0.60$ . Virtually all neurons are shared.

실험 결과

연구 질문

• RQ1 연속 학습 시스템이 망각을 급격히 일으키는지를 결정하는 아키텍처적 속성은 무엇인가?
• RQ2 정보 이론적 양(C_ctx)이 다양한 CL 방법에서 망각을 예측할 수 있는가?
• RQ3 다른 CL 패러다임(State Protection, State Transformation, Conditional Regeneration)이 불가능성 삼각형에 대해 어떤 성능을 보이는가?
• RQ4 실용적 진단(P5)이 아키텍처 전반에서 C_ctx를 신뢰할 수 있게 프록시하는가?
• RQ5 HyperNetworks가 망각을 얼마나 우회할 수 있으며 어떤 조건에서 그런가?

주요 결과

패러다임	방법	ACC (%) ↑	Fgt (%) ↓	P5 Δ	\hat{C}_{ctx}
상태 보호 ( C_ctx=0 )	NaiveSGD	18.7±0.3	97.1±0.4	0.0	0.000
상태 보호 ( C_ctx=0 )	EWC	18.9±0.1	97.6±0.6	0.0	0.000
상태 보호 ( C_ctx=0 )	SI	16.4±3.7	97.1±0.4	0.0	0.000
상태 보호 ( C_ctx=0 )	LwF	24.2±0.6	54.8±5.5	0.0	0.000
재생 ( C_ctx=0 )	Experience Replay	85.9±1.3	12.5±1.7	0.0	0.000
상태 변환 ( C_ctx≈0 )	CFlow (ODE)	92.4±0.7	6.1±1.1	0.0	0.000
조건부 재생 ( C_ctx≫H(T) )	HyperNet Oracle	98.8±0.3	0.0±0.0	-97.6	0.976
조건부 재생 ( C_ctx≫H(T) )	HyperNet Learned	98.9±0.2	0.0±0.0	-95.2	0.952

• Context Channel Capacity(C_ctx)가 망각 행태를 예측한다: C_ctx=0 방법은 망각이 급격하고, C_ctx≫H(T) 방법은 제로 망각 달성이 가능하다.
• 불가능성 삼각형이 존재한다: 제로 망각, 온라인 학습, 그리고 매개변수의 한정성은 순차 상태 기반 학습자에게 동시에 성립할 수 없다.
• HyperNetworks는 상태를 업데이트하는 대신 맥락에서 매개변수를 재생성함으로써 삼각형을 효과적으로 우회하여 거의 제로에 가까운 망각을 달성한다.
• Wrong-Context Probing(P5)은 C_ctx를 측정하기 위한 실험적 진단을 제공한다.
• Split-MNIST에서 HyperNetworks는 약 98.8–98.9% ACC를 달성하며 망각이 거의 없고, 전통적 방법은 약 18–25% ACC 범위에서 큰 망각을 보인다.
• CFC 매핑은 컨텍스트 입력에도 불구하고 C_ctx가 사실상 0임을 보여 구조적 우회 문제를 시사한다.
• 이 프레임워크는 CIFAR-10으로 확장되어 Gradient Context Encoder를 사용해 오라클 간극을 크게 줄이는 효과를 보인다.

(b) Template cosine similarity: inter-task ( $0.751$ ) $>$ intra-task ( $0.737$ ). Templates are more similar across tasks than within tasks—the opposite of specialization.