[논문 리뷰] SLCA: Slow Learner with Classifier Alignment for Continual Learning on a Pre-trained Model

Gengwei Zhang, Liyuan Wang외 3명|arXiv (Cornell University)|2023. 03. 09.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 사전 훈련된 모델(CLPM)에서 지속적 학습을 위한 단순하면서도 매우 효과적인 방법인 SLCA를 제안한다. SLCA는 점진적 과적합을 완화하고 분류 일반화 성능을 향상시키기 위해 느린 학습 전략과 분류기 정렬을 결합한다. 표현 계층에 대해 학습률을 선택적으로 낮추고, 사후적으로 태스크 간 클래스별 분포를 정렬함으로써 SLCA는 최신 기술 수준(SOTA) 성능을 달성하며, Split ImageNet-R에서 순차적 테스트 테이닝보다 최대 50.05% 향상된 성능을 기록하고 기존 방법들을 크게 앞서며 성능을 높인다.

ABSTRACT

The goal of continual learning is to improve the performance of recognition models in learning sequentially arrived data. Although most existing works are established on the premise of learning from scratch, growing efforts have been devoted to incorporating the benefits of pre-training. However, how to adaptively exploit the pre-trained knowledge for each incremental task while maintaining its generalizability remains an open question. In this work, we present an extensive analysis for continual learning on a pre-trained model (CLPM), and attribute the key challenge to a progressive overfitting problem. Observing that selectively reducing the learning rate can almost resolve this issue in the representation layer, we propose a simple but extremely effective approach named Slow Learner with Classifier Alignment (SLCA), which further improves the classification layer by modeling the class-wise distributions and aligning the classification layers in a post-hoc fashion. Across a variety of scenarios, our proposal provides substantial improvements for CLPM (e.g., up to 49.76%, 50.05%, 44.69% and 40.16% on Split CIFAR-100, Split ImageNet-R, Split CUB-200 and Split Cars-196, respectively), and thus outperforms state-of-the-art approaches by a large margin. Based on such a strong baseline, critical factors and promising directions are analyzed in-depth to facilitate subsequent research. Code has been made available at: https://github.com/GengDavid/SLCA.

연구 동기 및 목표

• 사전 훈련된 모델에서 지속적 학습(CLPM)에서 균일한 학습률이 증가하는 태스크에 대해 표현 계층이 과적합하는 문제를 해결하기 위해.
• 표현 계층과 분류 계층을 더 효과적으로 조정하여 사전 훈련된 지식의 일반화 능력을 향상시키기 위해.
• 기존 프롬프트 기반 및 테스트 테이닝 방법보다 뛰어난 성능을 보이는 강력하고 단순한 기준선을 확립하기 위해.
• CLPM 성능에 영향을 미치는 핵심 요소들, 예를 들어 사전 훈련 파라다임과 최종 태스크의 세분성 등을 규명하기 위해.

제안 방법

• 표현 계층에 대해 학습률을 선택적으로 낮춰 과적합을 방지하고 일반화 능력을 유지하기 위해 느린 학습 전략을 도입한다.
• 사후적 분류기 정렬(CA) 방법을 제안하여 클래스별 특징 분포를 모델링하고 태스크 간 예측을 정렬함으로써 분류 계층 성능을 향상시킨다.
• 각 클래스의 특징에 대한 평균 및 공분산 통계(μ_c, Σ_c)를 사용하여 정렬을 계산함으로써, 백본 재훈련 없이도 효과적인 분포 매칭을 가능하게 한다.
• 효율성을 위해 공분산 행렬을 분산(σ²_c)으로 단순화하여 저장소를 ViT-B/16 파라미터의 0.18%로 줄였고, 정확도 저하가 최소한이었다.
• 사후적 방식으로 분류기 정렬을 적용하여 표현 학습 중 간섭을 방지함으로써 성능 저하를 막는다.
• 어댑터나 프롬프트 메커니즘을 복잡하게 사용하지 않고, 느린 학습과 CA를 사용한 순차적 테스트 테이닝을 강력한 기준선로 활용한다.

실험 결과

연구 질문

• RQ1 기존의 순차적 테스트 테이닝 기준선은 사전 훈련된 모델을 사용하고 있음에도 불구하고 프롬프트 기반 방법보다 성능이 열 劣하는 이유는 무엇인가?
• RQ2 단순한 느린 학습 전략이 사전 훈련된 모델의 표현 계층에서 점진적 과적합을 얼마나 효과적으로 완화할 수 있는가?
• RQ3 백본 재훈련 없이도 분류 일반화 성능을 향상시키기 위해 사후적 분류기 정렬이 얼마나 효과적인가?
• RQ4 사전 훈련 파라다임(지도 학습 대비 자기지도 학습)과 최종 태스크의 세분성은 CLPM 성능에 어떤 영향을 미치는가?
• RQ5 경량의 사후 정렬 방법이 CLPM에서 복잡한 프롬프트 기반 접근법을 능가할 수 있는가?

주요 결과

• SLCA는 Split CIFAR-100에서 최대 49.76%, Split ImageNet-R에서 50.05%, Split CUB-200에서 44.69%, Split Cars-196에서 40.16%까지 순차적 테스트 테이닝을 향상시키며 최신 기술 수준의 방법들을 크게 앞서는 성능을 기록한다.
• 단독으로 느린 학습 전략을 적용했을 때도 표현 계층의 점진적 과적합이 감소하여, ImageNet-21K 지도 학습 사전 훈련 조건에서 Split CIFAR-100에서 47.09%, Split ImageNet-R에서 44.85% 향상된 성능을 기록한다.
• 층별 정규화(CA+LN)를 적용한 분류기 정렬(CA)은 특히 세분화된 최종 태스크에서 큰 성과를 보이며, Split CUB-200에서 최대 19.64% 향상된 성능을 기록한다.
• 고정된 표현에서도 사후적 분류기 정렬이 성능 향상을 이룬다는 점에서, 표현 업데이트와 독립적으로 효과가 있음을 입증한다.
• 계산 효율성이 매우 뛰어나 정렬 과정이 전체 추론 시간의 0.67%에서 5%만을 차지하며, 저장소도 최소한으로 사용(0.18% of ViT-B/16 parameters)한다.
• 자기지도 학습 사전 훈련이 기준선과 공동 훈련 간 성능 격차를 더 크게 만들며, 향후 지속적 학습을 위한 타겟 맞춤형 사전 훈련 파라다임이 필요함을 시사한다.