[논문 리뷰] Rapid Adaptation in Online Continual Learning: Are We Evaluating It Right?

Hasan Abed Al Kader Hammoud, Ameya Prabhu외 4명|arXiv (Cornell University)|2023. 05. 16.

Respiratory viral infections researchMedicine인용 수 3

한 줄 요약

이 논문은 온라인 지속적 학습(OCL) 알고리즘 평가에 사용되는 온라인 정확도의 신뢰성에 도전하며, 데이터 스트림 내 임의의 레이블 상관관계로 인해 이 정확도가 오염될 수 있음을 입증한다. 저자들은 이러한 상관관계를 제거한 후 모델 성능을 평가하는 새로운 지표인 '근접 미래 정확도(near-future accuracy)'를 제안한다. 이 지표를 통해 지식 유지 능력이 뛰어난 방법들이 더 우수한 적응 능력을 보이며, 심지어 엄격한 계산 예산 하에서도 더 나은 일반화 성능을 달성하는 것으로 드러났다.

ABSTRACT

We revisit the common practice of evaluating adaptation of Online Continual Learning (OCL) algorithms through the metric of online accuracy, which measures the accuracy of the model on the immediate next few samples. However, we show that this metric is unreliable, as even vacuous blind classifiers, which do not use input images for prediction, can achieve unrealistically high online accuracy by exploiting spurious label correlations in the data stream. Our study reveals that existing OCL algorithms can also achieve high online accuracy, but perform poorly in retaining useful information, suggesting that they unintentionally learn spurious label correlations. To address this issue, we propose a novel metric for measuring adaptation based on the accuracy on the near-future samples, where spurious correlations are removed. We benchmark existing OCL approaches using our proposed metric on large-scale datasets under various computational budgets and find that better generalization can be achieved by retaining and reusing past seen information. We believe that our proposed metric can aid in the development of truly adaptive OCL methods. We provide code to reproduce our results at https://github.com/drimpossible/EvalOCL.

연구 동기 및 목표

• 온라인 정확도가 데이터 스트림 내 임의의 레이블 상관관계로 인해 과대평가될 수 있으므로, 이 지표가 OCL에서 진정된 적응 능력을 측정하는 데 신뢰할 수 있는지 의문을 제기한다.
• 최첨단 OCL 방법들이 높은 온라인 정확도를 달성하면서도 치명적인 기억 상실(catastrophic forgetting)을 겪고 있음을 입증함으로써, 이러한 방법들이 진정된 학습보다는 데이터 특성에 의존하고 있음을 보여준다.
• 임의의 상관관계를 제거하고 참된 적응 능력을 더 잘 반영하는 새로운 평가 지표인 근접 미래 정확도를 제안한다.
• 강력한 정보 유지 능력을 가진 모델이 새로운 지표에서 뚜렷이 뛰어난 성능을 보이며, 이는 유지 능력이 일반화에 매우 중요함을 시사한다.
• 대규모 데이터셋과 다양한 계산 예산을 활용해 제안된 평가 프로토콜을 검증하는 견고한 벤치마크를 제공한다.

제안 방법

• 임의의 레이블 상관관계를 제거하기 위해 샘플을 𝒮 단계만큼 이동시킨 후의 정확도로 정의된 새로운 평가 지표인 근접 미래 정확도를 도입한다.
• 현재 데이터와의 레이블 상관관계를 제거할 수 있는 최소 이동량 𝒮를 선택하여 분포 이탈을 최소화하면서도 안정성을 확보한다.
• 온라인 정확도는 높지만 지식 유지율이 근본적으로 0에 가까운, 상관관계를 악용하는 블라인드 베이스라인인 OverAdapt를 설계한다.
• 정규화된 계산 예산 하에 느린 스트림과 빠른 스트림 설정에서 두 개의 대규모 OCL 데이터셋—CGLM과 CLOC—에서 10개 이상의 최첨단 OCL 방법을 벤치마크한다.
• 다양한 최적화 전략과 모델 아키텍처 간 비교를 위해 공정하고 계산이 정규화된 평가 프로토콜을 사용한다.
• 결과를 대조하기 위해 근접 미래 정확도와 표준 지표인 온라인 정확도 및 정보 유지율을 모두 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 온라인 정확도는 OCL에서 빠른 적응 능력을 신뢰할 만하게 측정할 수 있는가, 아니면 데이터 스트림 내 임의의 레이블 상관관계로 인해 과대평가되는가?
• RQ2 최첨단 OCL 알고리즘이 높은 온라인 정확도를 달성하기 위해 진정된 학습보다 레이블 상관관계에 얼마나 의존하는가?
• RQ3 근접 미래 정확도를 통해 임의의 상관관계를 제거하면 OCL 모델의 진정된 적응 능력에 대해 더 정확한 그림을 드러내는가?
• RQ4 강력한 지식 유지 능력을 가진 모델은 새로운 평가 지표에서 빠른 적응을 위해 최적화된 모델보다 어떻게 성능을 내는가?
• RQ5 더 단순한 베이스라인은 더 엄격하고 상관관계가 없는 지표에서 복잡한 OCL 방법을 능가할 수 있는가?

주요 결과

• 임의의 레이블 상관관계를 악용하는 블라인드 분류기가 CGLM에서 85%의 온라인 정확도를 달성함으로써, 높은 온라인 정확도가 진정된 적응을 의미하지는 않음을 입증한다.
• 제안된 OverAdapt 방법은 CGLM에서 온라인 정확도 88.5%를 기록했지만 정보 유지율은 2.1%에 불과하여, 이는 상관관계를 학습했지 지식을 학습하지 않았음을 입증한다.
• 근접 미래 정확도 지표에서 CosineFC는 CGLM에서 38%, CLOC에서 16%의 정확도를 기록하며 대부분의 최첨단 OCL 방법을 능가한다.
• 빠른 스트림 설정에서 단순한 베이스라인인 ACM과 FC-Only는 CGLM에서 각각 29%와 21%의 근접 미래 정확도를 기록하며 복잡한 OCL 방법들을 능가한다.
• 정보 유지율이 높은 방법들, 예를 들어 CosineFC는 일관되게 높은 근접 미래 정확도를 기록하며, 이는 유지 능력이 더 나은 일반화를 가능하게 한다는 것을 시사한다.
• 적응 능력과 유지 능력 사이의 격차는 본질적인 안정성-유연성 트레이드오프가 아니라, 모델들이 데이터 스트림의 특성에 과도하게 피 Lotting된 결과이다.