[논문 리뷰] Continual evaluation for lifelong learning: Identifying the stability gap

Matthias De Lange, Gido M. van de Ven외 1명|arXiv (Cornell University)|2022. 05. 26.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 반복 평가와 반복 단위 모니터링을 도입하여, 최신 반복 학습 방법이 작업 전환 시 일시적이지만 심각한 '안정성 격차(stability gap)'를 드러낸다. 새로운 작업을 학습한 후 회복되지만, 경험 재생, 지식 정착, 정규화와 같은 방법들은 일시적인 성능 저하를 겪으며, 표준 평가 관행의 심각한 결함을 드러내고 안전이 중요한 응용 분야에서의 위험을 부각시킨다.

ABSTRACT

Time-dependent data-generating distributions have proven to be difficult for gradient-based training of neural networks, as the greedy updates result in catastrophic forgetting of previously learned knowledge. Despite the progress in the field of continual learning to overcome this forgetting, we show that a set of common state-of-the-art methods still suffers from substantial forgetting upon starting to learn new tasks, except that this forgetting is temporary and followed by a phase of performance recovery. We refer to this intriguing but potentially problematic phenomenon as the stability gap. The stability gap had likely remained under the radar due to standard practice in the field of evaluating continual learning models only after each task. Instead, we establish a framework for continual evaluation that uses per-iteration evaluation and we define a new set of metrics to quantify worst-case performance. Empirically we show that experience replay, constraint-based replay, knowledge-distillation, and parameter regularization methods are all prone to the stability gap; and that the stability gap can be observed in class-, task-, and domain-incremental learning benchmarks. Additionally, a controlled experiment shows that the stability gap increases when tasks are more dissimilar. Finally, by disentangling gradients into plasticity and stability components, we propose a conceptual explanation for the stability gap.

연구 동기 및 목표

• 반복 학습에서 이전에 간과된 현상인, 작업 전환 시 일시적인 기억 상실('안정성 격차'로 명명)을 규명하는 것.
• 각 작업 이후가 아니라 매 작업 후에만 평가하는 표준 관행이 임계 성능 저하를 가리므로 이를 도전하는 것.
• 최악의 성능 저하를 탐지하기 위해 반복 단위 모니터링을 포함한 새로운 평가 프레임워크를 제안하는 것.
• min-ACC와 WC-ACC와 같은 새로운 지표를 사용해 안정성 격차를 정량화하는 것.
• 작업 유사도가 안정성 격차의 크기에 미치는 영향을 조사하는 것.

제안 방법

• 모델의 매 파라미터 업데이트 이후 평가를 수행하는 반복 학습 평가 프레임워크를 제안하며, 각 작업 이후가 아닌 반복 단위로 평가한다.
• 학습 중 최저 성능를 기록하는 데 사용되는 새로운 지표인 최소 정확도(min-ACC)와 최악의 경우 정확도(WC-ACC)를 도입한다.
• 안정성 격차를 개념적으로 설명하기 위해 기울기의 유연성과 안정성 성분으로 분리하는 기울기 분리 기법을 활용한다.
• ER, GEM, EWC, SI, LwF 등의 방법에서 안정성 성분의 기울기 노름(예: ∇L_stability)을 분석한다.
• 작업 유사도를 제어하여 그 영향을 안정성 격차에 미치는 영향을 평가하는 실험을 수행한다.
• 고주기 평가가 필요함을 입증하기 위해 제거 실험을 수행하여 안정성 격차가 고주기 평가 없이는 탐지 불가능함을 검증한다.

실험 결과

연구 질문

• RQ1 최신 반복 학습 방법들이 새로운 작업을 학습한 후 성능이 회복되지만, 작업 전환 시 심각한 일시적 기억 상실을 보이는 이유는 무엇인가?
• RQ2 표준 작업 수준 평가가 학습 중 임계 성능 저하를 탐지하지 못하는 이유는 무엇인가?
• RQ3 데이터 스트림에서 연속 작업 간 유사도가 안정성 격차에 어느 정도 영향을 미치는가?
• RQ4 기울기의 유연성과 안정성 성분으로 분해함으로써 안정성 격차를 개념적으로 설명할 수 있는가?
• RQ5 안정성 격차는 안전이 중요한 응용 분야와 악성 데이터 스트림 조작에 실질적인 영향을 미치는가?

주요 결과

• 안정성 격차는 경험 재생, 제약 기반 재생(GEM), 지식 정착(LwF), 파라미터 정규화(EWC, SI) 등 다양한 방법에 걸쳐 존재한다.
• Split-MNIST, Split-CIFAR10, Mini-DomainNet 등 다양한 클래스-기반, 작업-기반, 도메인-기반 증가 학습 벤치마크에서 일관되게 관찰된다.
• 연속 작업 간 유사도가 낮을수록 안정성 격차가 크게 증가하며, Split-CIFAR10에서 작업 유사도와 격차 심각도 사이에 음의 상관관계(ρ = -0.37)가 확인된다.
• 반복 단위 평가는 안정성 격차를 탐지하는 데 필수적이다. 표준 작업 수준 평가는 이를 드러내지 못하므로 오랫동안 묻혀 있었다.
• 기울기 분석 결과, 작업 전환 시 안정성 기울기가 거의 0에 수렴한 후 급격히 회복되는 것으로 확인되어 개념적 설명을 뒷받침한다.
• 최악의 경우 정확도(WC-ACC)와 min-ACC 지표는 새로운 작업 학습 직후 이전 작업의 성능이 거의 0에 도달할 수 있음을 드러내며, 최종 정확도가 회복되더라도 일시적인 성능 저하가 발생함을 보여준다.