[논문 리뷰] Self-Supervised Training Enhances Online Continual Learning

Jhair Gallardo, Tyler L. Hayes외 1명|arXiv (Cornell University)|2021. 03. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 72인용 수 23

한 줄 요약

이 논문은 ImageNet에서 온라인 지속 학습(OCL)에 대해 지도 학습 전훈을 자기지도 학습 전훈으로 대체할 것을 제안하며, 특히 SwAV에서 유도된 자기지도 학습 특징이 미리 학습된 데이터가 제한된 조건에서 새로운 클래스로의 일반화 성능이 더 뛰어나며, 기존 최고 성능(SOTA) 대비 상대적 14.95% 향상된 상위-1 정확도를 달성함을 입증함.

ABSTRACT

In continual learning, a system must incrementally learn from a non-stationary data stream without catastrophic forgetting. Recently, multiple methods have been devised for incrementally learning classes on large-scale image classification tasks, such as ImageNet. State-of-the-art continual learning methods use an initial supervised pre-training phase, in which the first 10% - 50% of the classes in a dataset are used to learn representations in an offline manner before continual learning of new classes begins. We hypothesize that self-supervised pre-training could yield features that generalize better than supervised learning, especially when the number of samples used for pre-training is small. We test this hypothesis using the self-supervised MoCo-V2, Barlow Twins, and SwAV algorithms. On ImageNet, we find that these methods outperform supervised pre-training considerably for online continual learning, and the gains are larger when fewer samples are available. Our findings are consistent across three online continual learning algorithms. Our best system achieves a 14.95% relative increase in top-1 accuracy on class incremental ImageNet over the prior state of the art for online continual learning.

연구 동기 및 목표

• 자기지도 학습 전훈이 기존의 지도 학습 전훈 대비 온라인 지속 학습(OCL)에서 일반화 성능을 향상시키는지 조사하기.
• 특히 전훈 데이터가 제한된 조건에서, 자기지도 학습 특징이 새로운 ImageNet 카테고리에서의 분류 능력(판별 능력)을 어떻게 평가할 것인지.
• 자기지도 학습 특징이 다양한 OCL 알고리즘에서 성능 향상에 기여하는지, 특히 데이터 부족 전훈 환경에서 어떻게 작용하는지 확인하기.
• 지도 학습 전훈을 자기지도 학습 방법으로 대체함으로써 ImageNet에서 온라인 지속 학습의 새로운 최고 성능(SoTA)을 확립하기.

제안 방법

• ImageNet 클래스의 일부에서 세 가지 자기지도 학습 방법(MoCo-V2, Barlow Twins, SwAV)을 사용해 사전 훈련된 ResNet-18 특징 추출.
• 전훈 중에 볼 수 없었던 ImageNet 클래스에서의 오프라인 선형 평가를 통해 특징 품질 평가 및 일반화 능력 측정.
• 자기지도 학습 특징을 REMIND OCL 프레임워크에 통합하여, 특징는 고정하고 오직 유연한 레이어만 온라인으로 업데이트함.
• 다양한 전훈 데이터 크기에서 자기지도 학습 대비 지도 학습 전훈을 사용한 세 가지 OCL 알고리즘 간 성능 비교.
• 오프라인 및 온라인 환경 모두에서 주요 평가 지표로 표준 ImageNet 1000개 클래스의 상위-1 정확도 사용.
• 다양한 분석 설정에서 일관된 성능을 보이며 일반화 성능 향상이 두드러진 점을 고려해 SwAV를 가장 강력한 베이스라인으로 선정함.

실험 결과

연구 질문

• RQ1 전훈 데이터가 제한된 조건에서, 자기지도 학습 전훈이 지도 학습 전훈보다 새로운 ImageNet 클래스로의 일반화 성능이 더 뛰어나게 되는가?
• RQ2 오프라인 선형 평가에서 자기지도 학습 특징과 지도 학습 특징의 판별 능력은 어떻게 비교되는가?
• RQ3 자기지도 학습 특징은 다양한 OCL 알고리즘에서 온라인 지속 학습 환경에서 성능 향상에 기여하는가?
• RQ4 전훈 데이터 크기가 OCL에서 자기지도 학습과 지도 학습 전훈 간 성능 격차에 어떤 영향을 미치는가?
• RQ5 자기지도 학습 전훈이 ImageNet에서 온라인 지속 학습의 새로운 최고 성능(SoTA)을 달성할 수 있는가?

주요 결과

• MoCo-V2, Barlow Twins, SwAV를 사용한 자기지도 학습 전훈이 오프라인 선형 평가 및 ImageNet에서의 온라인 지속 학습 모두에서 지도 학습 전훈을 능가함.
• 전훈에 사용된 클래스 수가 적을수록 자기지도 학습과 지도 학습 전훈 간 성능 격차가 커지며, 데이터 부족이 심할수록 성능 향상이 더 두드러짐.
• SwAV 특징는 모든 설정에서 최고의 성능를 기록하였으며, 오프라인 및 온라인 평가 모두에서 지도 학습 특징를 일관되게 능가하거나 동등하게 유지함.
• ImageNet 클래스의 10%만으로 전훈한 경우, 자기지도 학습 방법이 기존 SOTA 대비 온라인 지속 학습에서 상위-1 정확도를 14.95% 상대적으로 향상함.
• 특히 데이터가 적은 환경에서 자기지도 학습 특징는 지도 학습 특징보다 더 우수한 일반화 성능를 보이며, 카테고리에 종속되지 않는 표현을 학습하기 때문임.
• 세 가지 다른 온라인 지속 학습 알고리즘 모두에서 결과가 일관되게 나타나, 자기지도 학습 전훈이 일반적인 성능 향상 수단으로서의 강건성을 입증함.