[논문 리뷰] SIESTA: Efficient Online Continual Learning with Sleep

Md Yousuf Harun, Jhair Gallardo외 3명|arXiv (Cornell University)|2023. 03. 19.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

SIESTA는 온라인 단계의 출력층만 업데이트하고 수면 중 메모리를 통합함으로써 계산량과 메모리를 훨씬 적게 사용하면서 ImageNet-1K에서 오프라인에 가까운 성능을 달성하는 wake/sleep 온라인 지속 학습 및 오프라인 메모리 통합을 도입한다.

ABSTRACT

In supervised continual learning, a deep neural network (DNN) is updated with an ever-growing data stream. Unlike the offline setting where data is shuffled, we cannot make any distributional assumptions about the data stream. Ideally, only one pass through the dataset is needed for computational efficiency. However, existing methods are inadequate and make many assumptions that cannot be made for real-world applications, while simultaneously failing to improve computational efficiency. In this paper, we propose a novel continual learning method, SIESTA based on wake/sleep framework for training, which is well aligned to the needs of on-device learning. The major goal of SIESTA is to advance compute efficient continual learning so that DNNs can be updated efficiently using far less time and energy. The principal innovations of SIESTA are: 1) rapid online updates using a rehearsal-free, backpropagation-free, and data-driven network update rule during its wake phase, and 2) expedited memory consolidation using a compute-restricted rehearsal policy during its sleep phase. For memory efficiency, SIESTA adapts latent rehearsal using memory indexing from REMIND. Compared to REMIND and prior arts, SIESTA is far more computationally efficient, enabling continual learning on ImageNet-1K in under 2 hours on a single GPU; moreover, in the augmentation-free setting it matches the performance of the offline learner, a milestone critical to driving adoption of continual learning in real-world applications.

연구 동기 및 목표

• 감독 학습 지속 학습을 위한 온라인 업데이트를 오프라인 메모리 통합과 함께 형식화한다.
• 컴퓨트/메모리 제약 하에서 빠른 온라인 업데이트와 메모리 통합을 가능하게 하는 깨어/수면 알고리즘(SIESTA)을 개발한다.
• 리허설 중 메모리 인덱싱을 활용한 잠재 재현으로 재현 과정의 메모리 효율성을 향상시킨다.
• 증강 없이 ImageNet-1K 및 다른 데이터셋에서 SIESTA의 효율성과 성능을 입증한다.
• 임의의 데이터 순서(iid 및 클래스 증가)에 대한 강건성을 보여주고 증강 없는 설정에서 제로 포깅을 달성한다.

제안 방법

• 두 단계 학습: 깨어 단계는 실행 중인 클래스 평균을 사용하여 출력층의 경량 온라인 업데이트를 수행하고, 수면 단계는 G와 F에 대한 재현 기반의 오프라인 업데이트를 수행하는 반면 H는 고정된 상태로 유지한다.
• 메모리 효율적인 잠재 재현을 위해 전처리 데이터에서 학습된 PQ(Product Quantization)를 통해 양자화된 중간 수준 표현을 저장하여 Z를 재구성 가능하게 한다.
• 분류는 학습된 온도 값을 가진 코사인 소프트맥스로 클래스 점수를 계산한다.
• 온라인 업데이트 동안 클래스 계수 c_k와 함께 f_k <- (c_k f_k + z_t) / (c_k + 1) 로 업데이트한다.
• 수면 단계 재현은 저장된 Z 표현에서 미니배치를 선택하고 H를 고정한 채로 최대 m 번의 그래디언트 업데이트로 G와 F를 역전파를 통해 업데이트한다.
• 네트워크 구조는 H를 처음 8개 층으로 두고 G, F를 상위 층으로 하는 MobileNetV3-L을 사용하며, 메모리 효율성을 위해 FAISS의 PQ로 Z를 압축한다.

실험 결과

연구 질문

• RQ1 깨어 단계의 온라인 업데이트를 리허설 없이 수행하여 효율적인 지속 학습을 달성할 수 있는가?
• RQ2 잠재 재현이 포함된 수면을 통한 오프라인 메모리 통합이 대규모 데이터셋에서 최신 지속 학습 방법과 경쟁력 있거나 우수한 성능을 달성할 수 있는가?
• RQ3 SIESTA는 임의의 데이터 순서(iid 및 클래스 증가)에서 작업 레이블 없이도 성능을 유지하는가?
• RQ4 ImageNet-1K 및 다른 데이터셋에서 기존 지속 학습 방법과의 메모리 및 계산 효율성 비교는?

주요 결과

Method	P (M)	μ (top-5 %)	α (top-5 %)	M (GB)	U (M)	GFLOPS (↑)
Offline	5.48	—	83.31	192.87	768.70	—
DER	54.80	81.87	70.15	20.99	12.43	7944.60
ER	5.48	76.32	63.92	19.59	11.53	1294.10
REMIND	5.48	81.77	74.31	2.02	11.53	10139.00
SIESTA	5.48	88.33	83.59	2.02	11.53	19326.00

• 증강 없이 설정에서 SIESTA는 ImageNet-1K에서 오프라인 학습자 성능과 일치하며 오프라인 모델에 비해 잊힘이 없다.
• SIESTA는 매개변수 수와 메모리를 훨씬 적게 사용하며 경쟁 방법에 비해 훨씬 적은 업데이트를 필요로 한다(예: 11.68–116.89M 매개변수; 19–22 GB 메모리; 기준 방법의 업데이트 수 11.53M; 보고된 설정에서 SIESTA는 2.02e7 업데이트를 달성).
• 증강 설정에서 SIESTA는 최종 정확도에서 DER, ER, REMIND를 큰 차이로 능가한다(각각 +15.18, +15.78, +4.03 포인트).
• SIESTA는 증강 없이 단일 GPU에서 2시간 미만에 ImageNet-1K를 학습할 수 있어 경쟁 방법보다 상당히 빠르다.
• 수면 가이드 기반의 오프라인 통합은 수면 주기당 평균 약 4.25%의 절대 정확도 향상을 일관되게 제공한다.
• SIESTA는 데이터 순서(iid vs 클래스 증가)에 대한 강건성을 보이며 주요 설정에서 오프라인 모델과 큰 차이가 없다.