[논문 리뷰] A simple but strong baseline for online continual learning: Repeated Augmented Rehearsal

Yaqian Zhang, Bernhard Pfahringer외 4명|arXiv (Cornell University)|2022. 09. 28.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 재난복원기억(Rehearsal)과 데이터 증강을 결합한 단순하면서도 효과적인 온라인 지속적 학습을 위한 기준선인 반복 증강 복원(RAR)을 제안한다. 이는 치명적 무시를 완화하기 위해 메모리 샘플에 대해 반복 학습을 수행하고, 데이터 증강을 적용함으로써 이루어진다. RAR는 네 가지 OCL 벤치마크에서 성능을 크게 향상시켰으며, 순수 복원 기반 방법보다 9–17% 높은 성능을 기록하고, MIR, ASER, SCR와 같은 최첨단 방법들을 능가한다. 또한 과거 데이터의 손실 표면을 정확하게 근사하고 고손실 고도(ridges)를 피함으로써 안정적인 학습을 가능하게 한다.

ABSTRACT

Online continual learning (OCL) aims to train neural networks incrementally from a non-stationary data stream with a single pass through data. Rehearsal-based methods attempt to approximate the observed input distributions over time with a small memory and revisit them later to avoid forgetting. Despite its strong empirical performance, rehearsal methods still suffer from a poor approximation of the loss landscape of past data with memory samples. This paper revisits the rehearsal dynamics in online settings. We provide theoretical insights on the inherent memory overfitting risk from the viewpoint of biased and dynamic empirical risk minimization, and examine the merits and limits of repeated rehearsal. Inspired by our analysis, a simple and intuitive baseline, Repeated Augmented Rehearsal (RAR), is designed to address the underfitting-overfitting dilemma of online rehearsal. Surprisingly, across four rather different OCL benchmarks, this simple baseline outperforms vanilla rehearsal by 9%-17% and also significantly improves state-of-the-art rehearsal-based methods MIR, ASER, and SCR. We also demonstrate that RAR successfully achieves an accurate approximation of the loss landscape of past data and high-loss ridge aversion in its learning trajectory. Extensive ablation studies are conducted to study the interplay between repeated and augmented rehearsal and reinforcement learning (RL) is applied to dynamically adjust the hyperparameters of RAR to balance the stability-plasticity trade-off online. Code is available at https://github.com/YaqianZhang/RepeatedAugmentedRehearsal

연구 동기 및 목표

• 온라인 지속적 학습에서 복원 기반 방법이 메모리 샘플에 과적합되는 경향이 있음에도 불구하고 과거 작업으로의 일반화가 어려운 '과적합-부족적합' 딜레마를 해결하기 위함.
• 기존 복원 기반 방법이 특히 고손실 고도 근처에서 과거 데이터의 진짜 손실 표면을 얼마나 잘 근사하는지에 대한 한계를 탐구하기 위함.
• 복잡한 아키텍처 변경이나 하이퍼파라미터 튜닝 없이도 복원 성능을 향상시킬 수 있는 단순하고 효과적인 기준선을 설계하기 위함.
• 반복적이고 증강된 복원이 온라인 지속적 학습 환경에서 일반화와 안정성을 향상시키는지 경험적으로 검증하기 위함.

제안 방법

• 메모리 샘플과 도착하는 배치 양쪽에 대해 반복적 순전파와 데이터 증강을 적용하는 반복 증강 복원(RAR)을 제안한다.
• 이중 정규화 메커니즘을 도입: 반복 학습은 과거 데이터 학습을 안정화하고, 증강은 메모리 샘플의 다양성과 일반화 능력을 향상시킨다.
• 강화 학습을 활용해 온라인 방식으로 복원 반복 횟수와 증강 강도를 동적으로 조정함으로써 안정성과 유연성의 균형을 이룬다.
• 반복 복원과 증강 복원 간의 상호작용을 분석하기 위해 분리 실험을 수행하고, 각 데이터셋에 최적의 설정을 규명한다.
• 손실 표면의 시각화를 통해 RAR가 과거 작업의 진짜 손실 표면을 얼마나 잘 근사하는지 평가하며, 특히 고손실 고도를 피하는지 확인한다.
• 이론적 분석을 통해 메모리 과적합을 편향이 있고 동적인 경험적 리스크 최소화 문제로 재정의하고, 이와 작업-메모리 크기 비율 λ와의 연관성을 규명한다.

실험 결과

연구 질문

• RQ1 반복 복원과 데이터 증강이 온라인 지속적 학습에서 치명적 무시를 어떻게 완화하는가?
• RQ2 복원 반복 횟수와 증강 강도가 온라인 복원에서 모델 성능과 일반화에 미치는 영향은 무엇인가?
• RQ3 반복 및 증강 복원을 조합한 단순한 기준선이 복잡한 최첨단 복원 기반 방법들을 능가할 수 있는가?
• RQ4 RAR는 과거 데이터의 진짜 손실 표면을 개선하여 고손실 고도를 피하는가?
• RQ5 강화 학습은 데이터 스트림 환경에서 RAR의 하이퍼파라미터를 온라인으로 효과적으로 튜닝하여 안정성과 유연성의 균형을 이룰 수 있는가?

주요 결과

• RAR는 CIFAR100, MiniImageNet, CLRS, CORE50를 포함한 네 가지 OCL 벤치마크에서 순수 복원 기반 방법보다 9–17% 높은 성능을 기록한다.
• MIR, ASER, SCR와 같은 최첨단 복원 기반 방법들을 뛰어넘는 성능을 보이며, 다양한 환경에서 광범위한 효과를 입증한다.
• 과거 작업의 손실 표면에서 고손실 고도를 성공적으로 피함으로써 더 나은 일반화와 더 안정적인 학습을 의미한다.
• 분리 실험 결과, 반복 복원이나 증강 복원만 단독으로 적용할 경우 일관된 성능 향상이 보장되지 않으며, 두 요소의 조합이 성능 향상에 필수적임을 확인했다.
• 기존의 반복 복원 방식은 메모리 과적합으로 인해 성능 저하가 발생하지만, RAR는 최대 20회의 복원 반복조차도 안정적인 성능 유지를 보인다.
• 메모리 샘플과 도착하는 배치 양쪽에 모두 증강을 적용할 경우 가장 우수한 성능을 기록했으며, RAR-inc(도착 데이터만 증강)도 표준 ER 대비 CORE50에서 7.7% 향상된 성능을 기록했다.