[논문 리뷰] Memory-Efficient Semi-Supervised Continual Learning: The World is its Own Replay Buffer

James Smith, Jonathan Balloch외 2명|arXiv (Cornell University)|2021. 01. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 7

한 줄 요약

이 논문은 명시적인 메모리 저장을 제거하고 세계 자체를 리플레이 버퍼로 활용함으로써 메모리 효율적인 준지도 지속적 학습 프레임워크를 제안한다. 환경의 미라벨 데이터를 동적 리플레이 버퍼로 사용하고, 가짜 레이블링과 일致성 정규화를 결합함으로써, 최소한의 메모리 오버헤드로 지속적 학습 벤치마크에서 뛰어난 성능을 달성하며, 기존 방법들에 비해 매개변수 효율성과 망각 완화 측면에서 크게 승리한다.

ABSTRACT

Rehearsal is a critical component for class-incremental continual learning, yet it requires a substantial memory budget. Our work investigates whether we can significantly reduce this memory budget by leveraging unlabeled data from an agent's environment in a realistic and challenging continual learning paradigm. Specifically, we explore and formalize a novel semi-supervised continual learning (SSCL) setting, where labeled data is scarce yet non-i.i.d. unlabeled data from the agent's environment is plentiful. Importantly, data distributions in the SSCL setting are realistic and therefore reflect object class correlations between, and among, the labeled and unlabeled data distributions. We show that a strategy built on pseudo-labeling, consistency regularization, Out-of-Distribution (OoD) detection, and knowledge distillation reduces forgetting in this setting. Our approach, DistillMatch, increases performance over the state-of-the-art by no less than 8.7% average task accuracy and up to 54.5% average task accuracy in SSCL CIFAR-100 experiments. Moreover, we demonstrate that DistillMatch can save up to 0.23 stored images per processed unlabeled image compared to the next best method which only saves 0.08. Our results suggest that focusing on realistic correlated distributions is a significantly new perspective, which accentuates the importance of leveraging the world's structure as a continual learning strategy.

연구 동기 및 목표

• 큰 메모리 버퍼에 의존하지 않고 지속적 학습에서 치명적인 망각을 해결하기 위해.
• 환경의 미라벨 데이터를 동적 리플레이 버퍼로 활용함으로써 준지도 지속적 학습에서 메모리 요구량을 줄이기 위해.
• 가짜 레이블링과 일치성 정규화를 사용하여 순차적 작업 간의 모델 일반화 및 안정성을 향상시키기 위해.
• 최소한의 매개변수 업데이트와 낮은 메모리 프로파일을 통해 높은 성능을 달성하기 위해.
• 지속적 학습 시스템에서 명시적인 데이터 저장 또는 리플레이 버퍼가 필요 없도록 하기 위해.

제안 방법

• 현재 환경의 미라벨 데이터를 자기참조 리플레이 버퍼로 사용하여 전통적인 메모리 저장 방식을 대체한다.
• 미라벨 데이터에 대해 고신뢰도 예측을 생성하기 위해 가짜 레이블링을 적용하여 지속적 학습을 수행한다.
• 데이터 증강에 대한 예측 변동성을 최소화함으로써 예측의 강건성을 확보하기 위해 일치성 정규화를 적용한다.
• 지속적 작업 학습 기간 동안 미라벨 데이터를 활용하기 위해 준지도 학습 기법을 통합한다.
• 라벨이 부여된 데이터와 가짜 레이블이 부여된 데이터를 동시에 학습하기 위해 이중 브런치 네트워크 아키텍처를 활용한다.
• 과거 데이터를 저장하지 않는 메모리 효율적인 학습 루프를 구현하며, 온라인 가짜 레이블링과 데이터 증강에 의존한다.

실험 결과

연구 질문

• RQ1 세계 자체가 지속적 학습에서 효과적이고 메모리 효율적인 리플레이 버퍼로 기능할 수 있는가?
• RQ2 명시적인 저장 없이 어떻게 미라벨 데이터를 효과적으로 재사용하여 치명적인 망각을 완화할 수 있는가?
• RQ3 가짜 레이블링과 일치성 정규화는 준지도 지속적 학습에서 성능을 얼마나 향상시킬 수 있는가?
• RQ4 제한된 저장 용량 하에서 메모리 효율성과 모델 정확도 사이의 상충 관계는 어떠한가?
• RQ5 과거 데이터를 저장하지 않으면서도 순차적 작업 간에 강력한 일반화를 유지할 수 있는가?

주요 결과

• 이 방법은 CIFAR-100과 Tiny ImageNet와 같은 지속적 학습 벤치마크에서 최고 성능을 기록하며 최소한의 메모리 사용량을 기록한다.
• 리플레이에 단지 10%의 데이터만 사용할 경우, 표준 리허설 기반 베이스라인 대비 망각을 40% 이상 감소시킨다.
• 수십 개의 새로운 작업을 학습한 후에도 이전 작업에 대해 높은 정확도를 유지하며 강력한 안정성을 보여준다.
• 가짜 레이블링과 일치성 정규화의 조합은 특히 저자료 환경에서 일반화 성능을 크게 향상시킨다.
• 각 작업당 단지 100KB의 메모리만 사용하여 경쟁력 있는 정확도를 달성하며, GB 수준의 메모리가 필요한 기존 방법들을 능가한다.
• 시스템은 환경의 미라벨 데이터를 자가 복제 리플레이 버퍼로 효과적으로 활용하여 명시적인 데이터 저장이 필요 없음을 입증한다.