[논문 리뷰] Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning

Zheda Mai, Ruiwen Li외 2명|arXiv (Cornell University)|2021. 03. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 60인용 수 10

한 줄 요약

이 논문은 Supervised Contrastive Replay (SCR)를 제안하며, 이는 표준 Softmax 분류기를 Nearest Class Mean (NCM) 분류기로 대체하고 재생 중에 지도형 대비 손실을 사용하여 임bedding 군집화를 향상시키는 새로운 온라인 클래스 증분 지속 학습 방법이다. SCR은 치명적인 잊음 현상을 크게 줄이고, CIFAR-100과 Mini-ImageNet에서 최신 기술 대비 최대 15.4%의 정확도 향상을 기록한다.

ABSTRACT

Online class-incremental continual learning (CL) studies the problem of learning new classes continually from an online non-stationary data stream, intending to adapt to new data while mitigating catastrophic forgetting. While memory replay has shown promising results, the recency bias in online learning caused by the commonly used Softmax classifier remains an unsolved challenge. Although the Nearest-Class-Mean (NCM) classifier is significantly undervalued in the CL community, we demonstrate that it is a simple yet effective substitute for the Softmax classifier. It addresses the recency bias and avoids structural changes in the fully-connected layer for new classes. Moreover, we observe considerable and consistent performance gains when replacing the Softmax classifier with the NCM classifier for several state-of-the-art replay methods. To leverage the NCM classifier more effectively, data embeddings belonging to the same class should be clustered and well-separated from those with a different class label. To this end, we contribute Supervised Contrastive Replay (SCR), which explicitly encourages samples from the same class to cluster tightly in embedding space while pushing those of different classes further apart during replay-based training. Overall, we observe that our proposed SCR substantially reduces catastrophic forgetting and outperforms state-of-the-art CL methods by a significant margin on a variety of datasets.

연구 동기 및 목표

• Softmax 분류기의 클래스 불균형에 대한 민감성으로 인해 발생하는 온라인 클래스 증분 지속 학습에서의 최신성 편향 문제를 해결한다.
• 지속 학습에서 Softmax의 구조적 단순성과 강건성에 뒷받침되는, 오랫동안 활용되지 않은 Nearest Class Mean (NCM) 분류기를 재평가한다.
• 재생 중에 클래스 간 분리성에 대해 명시적으로 학습하여 임베딩 공간의 군집화를 향상시켜 일반화 및 분류기 성능을 향상시킨다.
• 새로운 클래스가 추가될 때 아키텍처 변경 없이도 높은 정확도를 유지할 수 있는 메모리 효율적이고 계산 부담이 적은 방법을 개발한다.

제안 방법

• 클래스 증분 학습 중에 완전 연결층의 구조적 변화를 방지하기 위해 표준 Softmax 분류기를 Nearest Class Mean (NCM) 분류기로 대체한다.
• 재생 중에 지도형 대비 손실을 적용하여 임베딩 공간에서 내부 클래스의 응집성과 외부 클래스 간의 분리성을 유도한다.
• 입력 데이터 배치와 버퍼링된 메모리 샘플에서 모두 동일한 인코더와 프로젝션 헤드를 사용하여 표현을 생성한다.
• 추론 중에는 프로젝션 헤드를 기각하고, 버퍼링된 샘플에서 클래스 평균을 계산하여 NCM 기반 분류를 수행한다.
• 학습 안정성을 유지하기 위해 데이터 스트림과 메모리 버퍼에서 균형 잡힌 배치 샘플링을 수행하는 랜덤화된 메모리 재생 전략을 활용한다.
• 온도 하이퍼파라미터 τ를 사용하여 대비 손실을 최적화하고, 다양한 프로젝션 헤드 설계(MLP, 선형, 없음)를 평가한다.

Figure 1: An overview of SCR. During training, an input batch is created by concatenating the minibatch $B_{n}$ from the data stream with another minibatch $B_{\mathcal{M}}$ from the memory buffer $\mathcal{M}$ . The input batch and its augmented view are encoded by a shared encoder and projection h

실험 결과

연구 질문

• RQ1 Nearest Class Mean (NCM) 분류기가 클래스 불균형이 존재하는 온라인 클래스 증분 지속 학습에서 Softmax 분류기보다 우월한 성능을 보일 수 있는가, 특히 최신성 편향을 완화하는 데 효과적인가?
• RQ2 NCM 분류기와 함께 사용될 때 지도형 대비 학습이 학습된 임베딩의 품질을 어떻게 향상시키는가?
• RQ3 메모리 버퍼 크기와 샘플링 전략이 제안된 SCR 프레임워크 성능에 미치는 영향은 무엇인가?
• RQ4 NCM와 대비 재생의 조합이 다양한 데이터셋과 메모리 설정에서 일관된 성능 향상을 이끌어내는가?
• RQ5 최신 기술 기반의 재생 기반 지속 학습 방법과 비교해 SCR의 효율성과 정확도는 어떠한가?

주요 결과

• Mini-ImageNet에서 SCR은 35.4%의 정확도를 기록했으며, 최고의 베이스라인(MIR-NCM) 대비 13.3% 향상되어 뚜렷한 성능 향상을 입증했다.
• CIFAR-100에서 SCR은 65.7%의 정확도를 달성했으며, 가장 강력한 베이스라인 대비 15.4%의 상대적 향상으로 다양한 데이터셋에서의 효과성을 확인했다.
• SCR는 작업 최신성 편향을 크게 줄였으며, 클래스 불균형이 존재하는 상황에서도 최신성 편향이 거의 관찰되지 않아 표준 재생 방법과는 대조된다.
• 계산 효율성을 유지했으며, 전체 학습 및 추론 시간이 ASER보다 짧고, MIR보다는 약간 길기만 하다.
• 다양한 메모리 버퍼 크기에서 일관된 성능 향상이 관찰되었으며, 더 큰 버퍼(예: M=5k)에서는 최대 60.2%의 상대적 향상이 이루어졌다.
• 제거 실험 결과, 대비 학습은 메모리 배치 크기가 200까지 증가할수록 유익한 반면, 과적합이 발생하는 높은 크기(예: 500 또는 1000)에서는 성능이 저하됨을 확인했다.

(a) ER