[논문 리뷰] Kaizen: Practical Self-supervised Continual Learning with Continual Fine-tuning

Chi Ian Tang, Lorena Qendro외 4명|arXiv (Cornell University)|2023. 03. 30.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

Kaizen는 지속적인 지식 정착과 새로운 작업 학습을 종합적으로 균형 잡는 새로운 손실 함수를 통해 각 작업에서 레이블이 없는 데이터와 레이블이 있는 데이터를 동시에 사용하여 특징 추출기와 분류기의 공동 학습을 통해 치명적인 잊음 문제를 완화하는 실용적인 자기지도 지속적 학습 프레임워크를 제안한다. 분할 CIFAR-100에서 기존 방법 대비 최대 16.5% 높은 정확도와 25.4% 더 적은 잊음률을 기록하며, 자기지도 학습 기반 지속적 학습 모델 중 최고 성능을 보이며 종합적인 지식 유지와 새로운 작업 학습의 균형을 이루고 있다.

ABSTRACT

Self-supervised learning (SSL) has shown remarkable performance in computer vision tasks when trained offline. However, in a Continual Learning (CL) scenario where new data is introduced progressively, models still suffer from catastrophic forgetting. Retraining a model from scratch to adapt to newly generated data is time-consuming and inefficient. Previous approaches suggested re-purposing self-supervised objectives with knowledge distillation to mitigate forgetting across tasks, assuming that labels from all tasks are available during fine-tuning. In this paper, we generalize self-supervised continual learning in a practical setting where available labels can be leveraged in any step of the SSL process. With an increasing number of continual tasks, this offers more flexibility in the pre-training and fine-tuning phases. With Kaizen, we introduce a training architecture that is able to mitigate catastrophic forgetting for both the feature extractor and classifier with a carefully designed loss function. By using a set of comprehensive evaluation metrics reflecting different aspects of continual learning, we demonstrated that Kaizen significantly outperforms previous SSL models in competitive vision benchmarks, with up to 16.5% accuracy improvement on split CIFAR-100. Kaizen is able to balance the trade-off between knowledge retention and learning from new data with an end-to-end model, paving the way for practical deployment of continual learning systems.

연구 동기 및 목표

• 이전 작업에서의 레이블이 없는 데이터만 존재하는 현실적인 데이터 제약 조건 하에서 자기지도 지속적 학습(CSSL)에서 치명적인 잊음 문제를 해결하기 위해.
• 모든 작업에서 레이블이 없는 데이터와 레이블이 있는 데이터를 사용하여 종합적인 학습을 가능하게 하는 프레임워크를 설계하여 지속적 학습 과정의 어느 시점에서도 구현이 가능하도록 하기 위해.
• 특징 추출과 분류기 피니팅을 통합한 단일 학습 목표 함수를 통해 지식 유지와 새로운 데이터 학습의 균형을 이루기 위해.
• 실제 가정 조건 하에서 지속적 정확도, 최종 정확도, 잊음률, 전방 이행성 등의 포괄적인 지표를 바탕으로 성능 평가를 수행하기 위해.
• 지속적인 정착 기법을 특징 및 분류기 헤드 양쪽에 적용할 경우 실세계 지속적 학습 환경에서 성능과 안정성이 크게 향상됨을 입증하기 위해.

제안 방법

• 특징 추출기와 분류기 양쪽에 대해 대비 자기지도 학습과 지식 정착을 결합한 새로운 학습 목표 함수를 도입한다.
• 이중 스트림 정착 기반 메커니즘을 적용: 하나는 모멘타리 평균을 사용한 학생-교수 네트워크를 활용한 특징 인코더 정착, 다른 하나는 이전 작업 예측 결과의 소프트 레이블을 사용한 분류기 정착.
• 사용자 설정이 가능한 크기의 리플레이 버퍼를 활용해 과거 데이터를 저장하고 재사용함으로써 전체 재학습 없이도 지속성을 향상시킨다.
• 각 작업에서 대비 사전 학습을 위한 레이블이 없는 데이터와 분류기 적응 및 정착을 위한 레이블이 있는 데이터를 동시에 사용하여 지속적인 피니팅을 적용한다.
• 자기지도 대비 학습, 특징 표현에 대한 정착 손실, 분류기 예측에 대한 정착 손실을 균형 잡는 손실 함수를 설계한다.
• 학습 과정의 어느 시점에서도 기능적인 분류기가 제공되어 실생활 적용이 가능하도록 지원한다.

실험 결과

연구 질문

• RQ1 이전 작업의 레이블이 없는 데이터만 존재하는 조건에서 자기지도 지속적 학습 프레임워크가 치명적인 잊음 문제를 효과적으로 완화할 수 있는가?
• RQ2 각 작업에서 레이블이 없는 데이터와 레이블이 있는 데이터를 동시에 사용하는 지속적 피니팅은 표준 자기지도 학습 또는 감독 기반 지속적 학습 방법에 비해 성능을 어떻게 향상시키는가?
• RQ3 특징 및 분류기 헤드 양쪽에서 동시 정착을 적용할 경우, 지식 유지와 새로운 작업 정확도 유지 사이의 균형을 얼마나 잘 달성할 수 있는가?
• RQ4 실용적인 지속적 학습 환경에서 지식 유지, 전방 이행성, 리플레이 데이터 크기 사이의 상호 상충 관계는 어떻게 나타나는가?
• RQ5 다양한 평가 지표에서 최신 자기지도 학습 및 지속적 학습 기반 기준 모델과 비교했을 때 제안된 방법의 성능은 어떠한가?

주요 결과

• Kaizen는 분할 CIFAR-100에서 기존 자기지도 학습 기반 지속적 학습 방법 대비 최대 16.5%p의 정확도 향상을 기록하며, 배경 모델로 MoCoV2+를 사용할 경우 최고 성능을 달성한다.
• 모든 평가된 자기지도 학습 기법에서 기준 방법 대비 잊음률을 25.4% 감소시켰으며, 이는 잊음 지표로 측정된 결과이다.
• MoCoV2+ 백본을 사용할 경우 Kaizen는 최종 정확도 0.570과 지속적 정확도 0.409를 기록하며, 다음으로 성능이 좋은 방법인 CaSSLe에 비해 각각 0.138과 0.088 높은 성능을 보였다.
• 리플레이 데이터가 전혀 없을 경우(0% 리플레이)에도 Kaizen는 강력한 성능 유지를 유지하며 엄격한 데이터 제약 조건 하에서도 뛰어난 내성성을 입증하였다.
• 리플레이 데이터 크기를 늘릴수록 정확도는 향상되고 잊음률은 감소하지만, 전방 이행성은 감소함을 확인하여, 시스템 설계에서 핵심적인 상호 상충 관계를 확인하였다.
• Kaizen는 전방 이행성에 대해 음수 값을 기록하며 지식 유지와 새로운 작업 학습 간의 상충 관계를 보였지만, 평가된 모든 방법 중에서 가장 균형 잡힌 종합 성능을 달성하였다.