[논문 리뷰] Online Continual Learning Without the Storage Constraint

Ameya Prabhu, Zhipeng Cai외 4명|arXiv (Cornell University)|2023. 05. 16.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 고정된 사전학습된 특징 추출기와 함께 근사 kNN 분류기를 사용하여 계산 비용은 낮추고 저장 용량 제약이 없는 온라인 지속적 학습 방법을 제안한다. kNN의 특성상 새로운 데이터에 즉각적으로 적응하면서도 과거 예시를 모두 유지함으로써 기존 방법보다 대규모 벤치마크인 CLOC(3900만 장의 이미지, 712개 클래스)과 CGLM(580만 장의 이미지, 10,788개 클래스)에서 20퍼센트 이상 높은 정확도를 달성하며, 계산 및 저장 비용을 크게 줄였다.

ABSTRACT

Traditional online continual learning (OCL) research has primarily focused on mitigating catastrophic forgetting with fixed and limited storage allocation throughout an agent's lifetime. However, a broad range of real-world applications are primarily constrained by computational costs rather than storage limitations. In this paper, we target such applications, investigating the online continual learning problem under relaxed storage constraints and limited computational budgets. We contribute a simple algorithm, which updates a kNN classifier continually along with a fixed, pretrained feature extractor. We selected this algorithm due to its exceptional suitability for online continual learning. It can adapt to rapidly changing streams, has zero stability gap, operates within tiny computational budgets, has low storage requirements by only storing features, and has a consistency property: It never forgets previously seen data. These attributes yield significant improvements, allowing our proposed algorithm to outperform existing methods by over 20% in accuracy on two large-scale OCL datasets: Continual LOCalization (CLOC) with 39M images and 712 classes and Continual Google Landmarks V2 (CGLM) with 580K images and 10,788 classes, even when existing methods retain all previously seen images. Furthermore, we achieve this superior performance with considerably reduced computational and storage expenses. We provide code to reproduce our results at github.com/drimpossible/ACM.

연구 동기 및 목표

• 실제 시스템에서 주요 장애 요소가 되는 계산 예산에 비해 저장 용량 제약에 초점을 맞춘 온라인 지속적 학습 연구의 격차를 메우기 위해.
• 특히 계산 자원이 제한된 환경에서 저장 용량이 더 이상 제약이 되지 않을 경우 대규모 온라인 지속적 학습이 가능한지 탐구하기 위해.
• 높은 정확도, 빠른 적응, 완벽한 기억 유지가 가능한 실용적이고 확장 가능하며 효율적인 지속적 학습 시스템을 개발하기 위해.
• 단순한 kNN 분류기와 고정된 사전학습된 특징 추출기를 사용하는 것이 대규모, 긴 꼬리 분포, 개념 이동이 발생하는 데이터셋에서 복잡한 기울기 기반 방법보다 뛰어난 성능을 낼 수 있는지 확인하기 위해.
• 수십 년에 걸친 지속적인 데이터 스트림에서도 계산 효율성과 실시간 추론이 가능함을 보여주어 장기적 구현 가능성 확보하기 위해.

제안 방법

• 모든 과거 특징과 레이블을 저장하는 근사 kNN 분류기(ACM)를 사용하여 기존 데이터를 잊지 않고 즉각적인 적응이 가능하도록 한다.
• 백본을 미세조정하거나 재학습할 필요 없이 고정된 사전학습된 딥 네트워크(예: ResNet50)를 특징 추출기로 통합한다.
• 근사 kNN 알고리즘(예: FAISS)의 로그 시간 복잡도를 활용하여 막대한 데이터 저장 용량에도 불구하고 낮은 추론 오버헤드를 유지한다.
• 각 도착하는 샘플을 명시적인 삽입 및 검색 연산을 통해 점진적으로 kNN 모델을 업데이트하여 샘플 단위의 적응이 가능하도록 한다.
• kNN의 본질적 특성에 기반하여 안정성 갭 없이, 기억 상실 없이, 계산 복잡도가 로그 스케일링되는 방식으로 일관성과 안정성을 확보한다.
• 실제 계산 예산 조건 하에서 평가하며, 벽시계 시간 측정을 통해 대규모 데이터 스트림에서 실시간 실행 가능성 검증한다.

Figure 1 : Adaptive Continual Memory (ACM) performs Memory.Retrieve and Memory.Insert on new incoming samples, extracted by a fixed, pretrained deep network.

실험 결과

연구 질문

• RQ1 저장 용량이 더 이상 제약이 되지 않을 경우, 계산 비용이 주요 장애 요소인 상황에서 온라인 지속적 학습이 크게 향상될 수 있는가?
• RQ2 고정된 특징 추출기를 사용하는 단순한 kNN 분류기가 대규모, 긴 꼬리 분포, 개념 이동이 발생하는 데이터셋에서 복잡한 기울기 기반 지속적 학습 방법보다 얼마나 뛰어난 성능을 낼 수 있는가?
• RQ3 완전한 데이터 저장소를 유지하는 데 드는 계산 오버헤드는 데이터셋 크기에 따라 어떻게 증가하는가? 그리고 장기간의 배포 기간 동안 실시간 추론을 지원할 수 있는가?
• RQ4 kNN 기반 접근 방식이 분포 변화나 단일 샘플 학습에 빠르게 적응할 수 있는가? 이는 실세계 지속적 학습에서 핵심적인 요소이다.
• RQ5 모든 데이터를 저장하고 기억을 잃지 않는 시스템이 동일한 계산 예산 조건에서 이전 데이터를 모두 유지하는 방법과 비교해도 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 ACM 방법은 CLOC(3900만 장의 이미지, 712개 클래스) 및 CGLM(580만 장의 이미지, 10,788개 클래스) 벤치마크에서 기존 최신 기술(SOTA)보다 정확도가 20퍼센트 이상 높으며, 해당 방법들이 이전 데이터를 모두 저장하고 있음에도 불구하고 성능을 뛰어넘었다.
• 256차원 특징에 대해 샘플당 최대 5밀리초의 추론 오버헤드를 기록하여 16코어 CPU에서 총 추론 비용이 약 15ms로 실시간 30FPS 비디오 처리에 적합한 성능을 달성했다.
• 단일 16코어 CPU 서버에서 최대 71년 동안 실시간 운영을 유지할 수 있으며, 연간 저장 비용은 약 $20에 불과하여 장기적 실용성은 입증되었다.
• 절단 분석 결과 kNN 분류기를 제거할 경우 성능이 10~30퍼센트 감소함을 확인하여 kNN이 빠른 적응과 높은 정확도의 주요 원동력임을 입증했다.
• 다양한 백본 아키텍처에서 일관된 성능 유지를 보이며, kNN의 이점이 특정 특징 추출기 의존성이 아니며 강건함을 입증했다.
• 시스템은 완벽한 기억 유지 성능을 유지를 한다: 이전에 본 데이터는 절대 잊히지 않으며 재질의 시도 시 동일한 레이블을 반환하여 일관성과 안정성을 보장한다.

Figure 2 : Online Continual Learning Performance. We observe that ACM outperforms existing methods by a large margin despite being far cheaper computationally. Traditional methods perform poorly given unrestricted access to past seen data indicating continual learning is a hard problem even without