[논문 리뷰] A Simple Baseline that Questions the Use of Pretrained-Models in Continual Learning

Paul Janson, Wenxuan Zhang외 2명|arXiv (Cornell University)|2022. 10. 10.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 지속적 학습을 위해 고정된 사전 훈련된 트랜스포머를 사용하여 특징을 추출하는 간단한 최근접 평균 분류기(NMC) 베이스라인을 제안한다. Split-CIFAR100에서 평균 정확도 83.70%를 달성하며 대부분의 최신 기법들을 능가한다. 이는 사전 훈련된 표현만으로도 매우 효과적일 수 있음을 보여주며, 복잡한 지속적 학습 메커니즘의 필요성을 의심스럽게 만든다.

ABSTRACT

With the success of pretraining techniques in representation learning, a number of continual learning methods based on pretrained models have been proposed. Some of these methods design continual learning mechanisms on the pre-trained representations and only allow minimum updates or even no updates of the backbone models during the training of continual learning. In this paper, we question whether the complexity of these models is needed to achieve good performance by comparing them to a simple baseline that we designed. We argue that the pretrained feature extractor itself can be strong enough to achieve a competitive or even better continual learning performance on Split-CIFAR100 and CoRe 50 benchmarks. To validate this, we conduct a very simple baseline that 1) use the frozen pretrained model to extract image features for every class encountered during the continual learning stage and compute their corresponding mean features on training data, and 2) predict the class of the input based on the nearest neighbor distance between test samples and mean features of the classes; i.e., Nearest Mean Classifier (NMC). This baseline is single-headed, exemplar-free, and can be task-free (by updating the means continually). This baseline achieved 88.53% on 10-Split-CIFAR-100, surpassing most state-of-the-art continual learning methods that are all initialized using the same pretrained transformer model. We hope our baseline may encourage future progress in designing learning systems that can continually add quality to the learning representations even if they started from some pretrained weights.

연구 동기 및 목표

• 사전 훈련된 모델을 사용할 때 복잡한 지속적 학습 방법이 진정으로 필요한지 평가하는 것.
• 사전 훈련된 모델의 표현 능력이 강력한 지속적 학습 성능을 내는 데 충분한지 조사하는 것.
• 과거의 태스크 레이블, 예시 데이터, 리플레이 데이터를 모두 회피하는 최소한의 베이스라인을 제안하는 것.
• 분포 변화가 발생할 때 성능을 유지하기 위해 지속적 미세조정이나 아키텍처 수정이 반드시 필요하다는 가정을 도전하는 것.
• 향후 연구가 잊히는 현상을 완화하는 데만 집중하기보다는, 시간이 지남에 따라 표현 품질을 향상시키는 데에 초점을 맞추기를 권장하는 것.

제안 방법

• 사전 훈련된 트랜스포머 백본을 고정하고, 모든 훈련 샘플에서 특징을 추출하는 데 사용한다.
• 각 태스크에 대해 훈련 중에 클래스별 평균 특징 임베딩을 계산한다.
• 추론 시에는 L2 거리 기반으로 클래스 평균 특징에 가장 가까운 이웃 규칙을 사용해 테스트 샘플을 분류한다.
• 예시를 저장하지 않고도 태스크에 관계없이 클래스 평균 특징을 점진적으로 갱신한다.
• 공정한 평가를 위해 모든 비교에서 동일한 사전 훈련된 백본을 사용한다.
• Zero 버퍼 크기로 Split-CIFAR100, CoRe50, Split-ImageNet-R, 그리고 5개의 데이터셋 벤치마크에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 고정된 사전 훈련된 특징을 사용하는 단순한 최근접 평균 분류기가 경쟁 가능한 지속적 학습 성능을 달성할 수 있는가?
• RQ2 사전 훈련된 특징이 이미 강건한데도 불구하고 최신 기법들의 복잡성이 진정으로 필요한가?
• RQ3 리플레이, 태스크 레이블, 또는 동적 아키텍처 확장을 사용하는 SOTA 기법들과 비교해 최소한의 베이스라인은 어떻게 성능을 내는가?
• RQ4 지속적 학습에서 분포 변화가 발생할 경우 사전 훈련된 모델의 표현 품질이 떨어지는가?
• RQ5 다양한 벤치마크들이 단순한 베이스라인의 강력한 성능를 감안할 때, 현재의 벤치마크들이 지속적 학습의 진정한 과제를 충분히 반영하고 있는가?

주요 결과

• 제안된 NMC 베이스라인은 10-Split-CIFAR100에서 평균 정확도 83.70%를 달성했으며, 동일한 사전 훈련된 백본을 사용한 대부분의 SOTA 기법들을 능가했다.
• CoRe50에서 베이스라인은 평균 정확도 83.23%를 기록했으며, L2P(78.33%)를 능가했고 더 복잡한 기법들과 동등한 성능를 보였다.
• 리플레이 버퍼를 사용하지 않아도 Split-ImageNet-R과 5개의 데이터셋 벤치마크에서 경쟁 가능한 결과를 달성했다. 이는 CIFAR-100보다 더 다양한 데이터셋이었다.
• 리플레이 버퍼 없이도 L2P와 BiC와 같은 예시 없이 버퍼 없는 기법들보다 여러 벤치마크에서 뛰어난 성능를 보였다.
• 결과는 사전 훈련된 모델이 강력하고 견고한 표현을 제공하며, 대부분의 필요한 불변성을 이미 포괄하고 있어 복잡한 지속적 학습 메커니즘의 필요성을 줄일 수 있음을 시사한다.
• 본 연구는 많은 SOTA 기법들이 사전 훈련된 모델의 표현 품질을 향상시키기보다는 오직 잊히는 현상만 완화하고 있을 수 있음을 드러낸다.