[논문 리뷰] Co$^2$L: Contrastive Continual Learning

Hyuntak Cha, Jaeho Lee외 1명|arXiv (Cornell University)|2021. 06. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 1인용 수 6

한 줄 요약

Co$^2$L은 재촉 기반 지속 학습 프레임워크를 제안하며, 대비 표현 학습과 인스턴스 수준 관계 distillation을 활용하여 치명적인 잊음 현상을 줄인다. 비대칭 감독형 대비 손실과 특징 유사성의 자기 distillation을 통해 Co$^2$L은 클래스 증강 학습 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 공동 학습 기반 베이스라인보다 뚜렷한 성능 향상을 보인다.

ABSTRACT

Recent breakthroughs in self-supervised learning show that such algorithms learn visual representations that can be transferred better to unseen tasks than joint-training methods relying on task-specific supervision. In this paper, we found that the similar holds in the continual learning con-text: contrastively learned representations are more robust against the catastrophic forgetting than jointly trained representations. Based on this novel observation, we propose a rehearsal-based continual learning algorithm that focuses on continually learning and maintaining transferable representations. More specifically, the proposed scheme (1) learns representations using the contrastive learning objective, and (2) preserves learned representations using a self-supervised distillation step. We conduct extensive experimental validations under popular benchmark image classification datasets, where our method sets the new state-of-the-art performance.

연구 동기 및 목표

• 지속 학습에서 공동 학습된 표현보다 대비적으로 학습된 표현이 치명적인 잊음에 더 강건한가를 조사하는 것.
• 대체 표현-분류기 설정에서 전이 가능한 표현을 명시적으로 학습하고 유지하는 재촉 기반 지속 학습 알고리즘을 설계하는 것.
• 지속 학습에서 정보성 부정 샘플의 접근성이 제한된 문제를 해결하기 위해, 버퍼링된 샘플을 효과적으로 활용하는 비대칭 대비 손실을 제안하는 것.
• 공동 학습된 분류기에 의존하지 않고도 학습된 표현을 유지하는 새로운 자기 distillation 메커니즘인 인스턴스 수준 관계 distillation(IRD)을 도입하는 것.
• 표준 및 이상적인 설정 하에서 다양한 지속 학습 벤치마크에서 대비 학습과 IRD의 효과를 경험적으로 검증하는 것.

제안 방법

• 이 방법은 현재 작업 샘플을 앵커로 하고 버퍼링된 과거 샘플을 양성 쌍으로 간주하는 비대칭 감독형 대비 손실(SupCon)을 사용하여, 클래스 증강 제약 조건 하에서 표현 품질을 향상시킨다.
• 이 방법은 현재 모델과 이전 모델의 인스턴스 수준 유사성 행렬 간의 이탈을 최소화하는 자기 distillation 손실인 인스턴스 수준 관계 distillation(IRD)을 도입한다. 이는 학습된 특징 관계를 유지한다.
• 이 프레임워크는 비대칭 SupCon 손실과 IRD 손실을 가중치 합으로 조합하여, 과거 작업 간의 안정성을 유지하면서 표현의 지속 학습을 가능하게 한다.
• 모델은 작은 수의 과거 샘플을 저장하는 메모리 버퍼를 사용하며, 이는 비대칭 대비 학습과 IRD 손실 계산에 모두 사용된다.
• 표현 헤드와 분류기 헤드는 분리된 방식으로 학습되며, 표현 헤드는 대비 학습과 distillation을 통해 지속적으로 업데이트되고, 분류기는 각 작업마다 미세조정된다.
• 이 방법은 CIFAR-10, CIFAR-100, Tiny-ImageNet에서 표준 클래스 증강 학습(class-IL) 및 작업 증강 학습(task-IL) 설정 하에서 평가된다.

실험 결과

연구 질문

• RQ1 지속 학습에서 대비 표현 학습이 공동 학습된 표현보다 더 전이 가능하고 잊히기 쉬운가?
• RQ2 완전한 클래스 수준의 감독 정보가 없을 때 비대칭 대비 손실이 버퍼링된 샘플을 양성 쌍으로 효과적으로 활용할 수 있는가?
• RQ3 인스턴스 수준 관계 distillation(IRD)이 공동 학습된 분류기에 의존하지 않고도 학습된 표현을 효과적으로 유지할 수 있는가?
• RQ4 비대칭 SupCon 손실과 IRD 손실은 어떻게 상호 보완되어 지속 학습 성능을 향상시키는가?
• RQ5 제안된 Co$^2$L 프레임워크는 다양한 지속 학습 벤치마크에서 최신 기술 수준 성능을 달성하는가?

주요 결과

• Co$^2$L은 클래스-IL 하에서 Seq-CIFAR-10에서 65.57%의 정확도를 달성하며, 베이스라인 SupCon 손실(60.49%)과 다른 최신 기술 수준 방법들을 크게 앞서간다.
• 비대칭 SupCon 손실은 t-SNE 시각화에서 더 나은 특징 군집화를 통해 표현 품질 향상을 보이며, 버퍼링된 샘플이 전체 클래스 분포를 더 잘 대표하고 있음을 확인한다.
• IRD만으로도 버퍼 없이 Seq-CIFAR-10에서 정확도를 5.64%포인트 향상시켜(53.25%에서 58.89%로), 표현 유지의 효과성을 입증한다.
• 비대칭 SupCon과 IRD의 조합은 Seq-CIFAR-10에서 가장 높은 성능(65.57%)을 기록하며, 두 구성 요소가 상호 보완적이고 필수적임을 보여준다.
• 무한 버퍼 이상의 이상적 상황에서 IRD는 대칭 및 비대칭 SupCon 간의 성능 격차를 줄여주며, 버퍼링된 샘플의 활용도를 극대화하는 역할을 함을 증명한다.
• Seq-Tiny-ImageNet에서 Co$^2$L은 500개의 버퍼 샘플로 20.12%의 정확도를 달성하며, 원본 SupCon(19.68%)를 능가하며 더 큰 데이터셋으로의 확장성도 입증한다.