[논문 리뷰] Probing Representation Forgetting in Supervised and Unsupervised Continual Learning

MohammadReza Davari, Nader Asadi외 3명|arXiv (Cornell University)|2022. 03. 24.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 지속적 학습(Continual Learning, CL)을 위한 새로운 평가 프레임워크를 제안하며, 최적의 선형 프로브(Linear Probe, LP)를 사용해 표현의 잊힘 표현을 측정한다. 분석 결과, 감독 대비 학습(Supervised Contrastive Learning, SupCon)을 사용한 단순 미세조정(fine-tuning)이 표현의 잊힘을 최소화하며, 이는 전용 CL 방법보다도 뛰어난 성능을 보인다. 주요 기여는 SupCon 기반의 미세조정에 작은 메모리 기반의 프로토타입 복원 기법을 결합함으로써, 명시적인 잊힘 제어 기법 없이도 신속한 복구와 경쟁 가능한 성능을 달성할 수 있음을 입증한 것이다.

ABSTRACT

Continual Learning research typically focuses on tackling the phenomenon of catastrophic forgetting in neural networks. Catastrophic forgetting is associated with an abrupt loss of knowledge previously learned by a model when the task, or more broadly the data distribution, being trained on changes. In supervised learning problems this forgetting, resulting from a change in the model's representation, is typically measured or observed by evaluating the decrease in old task performance. However, a model's representation can change without losing knowledge about prior tasks. In this work we consider the concept of representation forgetting, observed by using the difference in performance of an optimal linear classifier before and after a new task is introduced. Using this tool we revisit a number of standard continual learning benchmarks and observe that, through this lens, model representations trained without any explicit control for forgetting often experience small representation forgetting and can sometimes be comparable to methods which explicitly control for forgetting, especially in longer task sequences. We also show that representation forgetting can lead to new insights on the effect of model capacity and loss function used in continual learning. Based on our results, we show that a simple yet competitive approach is to learn representations continually with standard supervised contrastive learning while constructing prototypes of class samples when queried on old samples.

연구 동기 및 목표

• 재난적 기억 상실을 측정하는 데 있어 표준 정확도 지표의 한계를 해결하기 위해, 이는 미미한 표현 변화와 실제 지식 손실를 구분하지 못할 수 있음.
• 표현의 잊힘—이전 작업에 유용한 특징가 손실되는 것—이 표준 미세조정 및 자기지도 기반 CL 방법에서 발생하는지 조사하기 위해.
• 선형 프로브 기반 분석을 통해 모델 용량과 손실 함수가 표현의 잊힘에 미치는 영향을 평가하기 위해.
• 명시적인 잊힘 제어 메커니즘 없이도 신속한 기억 회복이 가능한 단순하고 메모리 효율적인 지속적 학습 방법을 제안하기 위해.
• 표현의 유용성, 즉 작업 정확도뿐 아니라 지속적 학습 성능 평가에 있어 핵심 지표임을 입증하기 위해.

제안 방법

• 중간 네트워크 레이어의 특징 활성화에서 학습된 최적의 선형 프로브(LP)를 사용해 이전 작업에 대한 표현의 유용성을 평가한다.
• 새로운 작업을 학습한 후 이전 작업 데이터에 대한 LP 분류기 성능 저하를 표현의 잊힘으로 측정한다.
• 감독 및 자기지도 설정 하에서 표준 CL 벤치마크(예: SplitCIFAR100, ImageNet-Scenes-CUB-Flowers)에 이 평가 방법을 적용한다.
• SupCon 미세조정과 작은 클래스 프로토타입 메모리(NME)를 조합한 방법을 제안하여 이전 작업에서의 신속한 복구를 가능하게 한다.
• 표준 정확도 지표와 LP 기반의 잊힘 측정치를 비교하고, 보조적인 유사도 지표로 CKA(Centered Kernel Alignment)를 사용한다.
• 깊이별 표현 변화 분석을 위해 여러 작업 시퀀스에서 표준 ResNet 및 VGG 아키텍처를 활용한다.

Figure 1 : Performance on ImageNet during the sequence (ImageNet→Scenes→CUB→Flowers) using ResNet18. We observe that although observed accuracy heavily degrades the LP accuracy, in finetuning does not decay as drastically and can rival LP accuracy of methods such as LwF and EWC. Moreover, we observe

실험 결과

연구 질문

• RQ1 표준 정확도 지표가 지속적 학습에서 진정한 표현의 잊힘을 포착하지 못하는 정도는 어느 정도인가?
• RQ2 지속적 학습에서 다양한 모델 아키텍처와 손실 함수에 따라 표현의 잊힘은 어떻게 변화하는가?
• RQ3 SupCon 또는 SimCLR를 사용한 단순 미세조정이 전용 CL 방법보다 더 나은 표현 유지 성능를 보일 수 있는가?
• RQ4 모델의 깊이 또는 너비를 증가시키면 표현의 잊힘은 감소하는가? 이 효과는 LP 평가를 통해만 명확하게 드러나는가?
• RQ5 SupCon과 작은 프로토타입 메모리 조합을 사용한 단순한 방법이 명시적인 잊힘 제어 없이도 신속한 기억 회복을 가능하게 하는가?

주요 결과

• 단순 미세조정에서의 표현의 잊힘은 표준 정확도 지표가 시사하는 것보다 훨씬 낮다: 2개 작업의 SplitCIFAR10 설정에서 ResNet의 최종 블록에서 LP 정확도 저하율은 5.72%에 불과하다.
• NME 메모리와 함께 SupCon 미세조정을 적용한 결과, 10개 작업의 SplitCIFAR100 시퀀스에서 평균 53.9%의 정확도를 기록했으며, LwF(47.7%)를 능가하고 ER-M5(54.8%)와 유사한 성능을 보였다.
• 낮은 레이어에서는 표현의 유용성이 높은 편이다: ResNet 블록 B-0에서 1.08% 향상되고 B-1에서 1.26% 향상되어, 저수준 특징에서의 잊힘은 최소한임을 시사한다.
• 잊힘은 깊은 레이어에 집중되어 있다: ResNet 블록 B-5에서 LP 정확도가 5.72% 감소했지만, 이는 관찰된 작업 정확도의 22% 감소보다 훨씬 덜 치명적인 수준이다.
• 더 넓고 깊은 모델은 LP 평가를 통해 볼 때 표현의 잊힘 감소 경향을 보이며, 이는 표준 정확도 지표에서는 명확히 드러나지 않는다.
• 제안된 SupCon + NME 방법은 학습 중 메모리 접근이 필요 없이도 이전 작업에서의 신속한 복구를 가능하게 하여 강력한 실용적 유용성을 입증했다.

Figure 3 : 10-Task SplitCIFAR100. We compare observed acc. and linear probe acc. Naively finetuning with CE does poorly if using the observed accuracy. However using the LP based evaluation we observe that performance gap to other methods is lower. Furthermore when finetuning is performed instead wi