[논문 리뷰] Encoders and Ensembles for Task-Free Continual Learning

Murray Shanahan, Christos Kaplanis외 1명|arXiv (Cornell University)|2021. 05. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 10

한 줄 요약

이 논문은 작업 경계가 없거나 알려져 있지 않은 현실적이고 도전적인 환경에서 지속적 학습을 위한 인코더-앙상블 아키텍처를 제안한다. 고정된 자기지도 사전학습 이미지 인코더가 특징을 추출하고, 간단한 키 기반 활성화 단일층 분류기의 앙상블이 예측을 동적으로 선택하고 통합한다. 이 방법은 아키텍처의 전문화와 집단적 추론을 통해 치명적 기억상실을 완화함으로써, 온라인, 점진적, 개념적으로 변화하는 데이터 설정에서 CIFAR-10과 CIFAR-100에서 이전 최고 성능을 크게 뛰어넘는 성능을 달성한다.

ABSTRACT

We present an architecture that is effective for continual learning in an especially demanding setting, where task boundaries do not exist or are unknown, and where classes have to be learned online (with each example presented only once). To obtain good performance under these constraints, while mitigating catastrophic forgetting, we exploit recent advances in contrastive, self-supervised learning, allowing us to use a pre-trained, general purpose image encoder whose weights can be frozen, which precludes forgetting. The pre-trained encoder also greatly simplifies the downstream task of classification, which we solve with an ensemble of very simple classifiers. Collectively, the ensemble exhibits much better performance than any individual classifier, an effect which is amplified through specialisation and competitive selection. We assess the performance of the encoders-and-ensembles architecture on standard continual learning benchmarks, where it outperforms prior state-of-the-art by a large margin on the hardest problems, as well as in less familiar settings where the data distribution changes gradually or the classes are presented one at a time.

연구 동기 및 목표

• 작업 경계가 없거나 알려져 있지 않은 현실적이고 도전적인 환경에서 치명적 기억상실을 해결하기 위해.
• 작업 경계나 명시적 작업 추론이 필요 없는 확장 가능한 효과적인 아키텍처를 개발하기 위해.
• 자기지도 사전학습과 앙상블 학습을 활용하여 기억상실을 줄이고 점진적 클래스 학습 전반에서 높은 정확도를 유지하기 위해.
• 세 가지 다른 지속적 학습 제도에서 표준 벤치마크를 평가하기 위해: 작업별 분할, 점진적 클래스 학습, 점진적 분포 이동.

제안 방법

• 사전학습된 고정된 이미지 인코더(예: BYOL 또는 ReLIC에서 유래)를 사용하여 고정된 일반 목적 특징을 추출함으로써 특징 추출 단계에서 기억상실을 제거한다.
• 각각 인코더의 잠재 공간 내 무작위 키와 연결된 단일층 분류기의 앙상블을 활용하여 코사인 유사도 기반 k-최근접 이웃을 통한 동적 분류기 선택을 가능하게 한다.
• 입력 인코딩과 각 분류기의 키 간의 코사인 유사도에 따라 가중 평균을 사용하여 분류기 출력을 통합한다.
• 특정 활성화(탄젠트)와 손실 함수(클래스별 스케일링이 적용된 교차 엔트로피)의 조합을 적용하여 가중치 갱신을 관련된 분류기 헤드에 국한시켜 간섭을 줄인다.
• 키 매칭 기반의 경쟁적 선택을 통해 분류기의 전문화와 집단적 강건성을 촉진한다.
• 작업 경계나 메모리 재생이 필요 없으며, 대신 사전학습된 인코더의 구조적 불변성과 모듈식 분류기 앙상블에 의존한다.

실험 결과

연구 질문

• RQ1 고정된 사전학습 인코더와 분류기 앙상블을 조합한 단순한 아키텍처가 작업 경계가 없는 지속적 학습에서 기존 방법보다 뛰어난 성능을 내는가?
• RQ2 작업 경계가 없고 클래스가 한 개씩 순차적으로 제시될 경우 이 아키텍처의 효과는 어떠한가?
• RQ3 분류기의 전문화와 앙상블 통합이 점진적 학습에서 치명적 기억상실을 어느 정도 완화하는가?
• RQ4 이 방법은 이산적인 작업이 존재하지 않고 점진적으로 변화하는 데이터 분포에 일반화되는가?

주요 결과

• 제안된 아키텍처는 작업 경계가 없는 지속적 학습 벤치마크에서 CIFAR-10과 CIFAR-100에서 최고 성능을 달성하며, 이전 방법들보다 큰 격차로 뛰어난 성능을 보였다.
• 전체적으로 점진적인 설정(한 번에 한 클래스씩)에서, 모든 클래스에 대해 높은 정확도를 유지하며 치명적 기억상실에 강한 저항성을 보였다.
• 점진적으로 변화하는 데이터 분포(Gaussian 스케줄)에서도 성능이 우수했으며, 이는 클래스 경계가 흐려지고 이산적인 작업이 존재하지 않는 상황에서도 성능을 유지함을 의미한다.
• 고정된 인코더와 단순한 분류기 앙상블의 조합은 개별 구성 요소보다 더 효과적이었으며, 상호 보완 효과가 성능 향상을 극대화했다.
• 탄젠트 활성화와 클래스별 손실 함수의 사용은 관련된 분류기 헤드에만 가중치 갱신이 국한되도록 하여 기억상실을 크게 감소시켰다.
• 단일 에포크 온라인 학습 제도에서도 강력한 성능을 기록하여, 실시간 스트리밍 데이터에 적합함을 확인했다.