[논문 리뷰] Dark Experience for General Continual Learning: a Strong, Simple Baseline

Pietro Buzzega, Matteo Boschini외 3명|arXiv (Cornell University)|2020. 04. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 90

한 줄 요약

이 논문은 Dark Experience Replay (DER) 및 DER++를 소개합니다. 간단한 리허설 기반 baselines가 최적화 궤적에서 모델 로짓을 저장하고 증류를 사용하여 General Continual Learning (GCL)에서 망각을 완화합니다. 표준 CL 벤치마크와 새로운 MNIST-360 평가에서 다수의 최신 방법보다 성능이 우수합니다.

ABSTRACT

Continual Learning has inspired a plethora of approaches and evaluation settings; however, the majority of them overlooks the properties of a practical scenario, where the data stream cannot be shaped as a sequence of tasks and offline training is not viable. We work towards General Continual Learning (GCL), where task boundaries blur and the domain and class distributions shift either gradually or suddenly. We address it through mixing rehearsal with knowledge distillation and regularization; our simple baseline, Dark Experience Replay, matches the network's logits sampled throughout the optimization trajectory, thus promoting consistency with its past. By conducting an extensive analysis on both standard benchmarks and a novel GCL evaluation setting (MNIST-360), we show that such a seemingly simple baseline outperforms consolidated approaches and leverages limited resources. We further explore the generalization capabilities of our objective, showing its regularization being beneficial beyond mere performance.

연구 동기 및 목표

• 명확한 작업 경계가 없는 일반적 연속 학습 설정의 연구를 자극한다.
• 리허설과 증류를 결합한 간단하고 메모리 효율적인 baseline을 제안한다.
• DER의 효과를 다양한 CL 벤치마크와 새로운 GCL 설정 MNIST-360에서 입증한다.
• 손실 지형, 보정(calibration), 버퍼 유틸리티 측면에서 DER/DER++의 동작을 분석한다.

제안 방법

• 최적화 과정에서 샘플링된 과거 로짓을 reservoir sampling을 사용하여 리플레이 버퍼에 저장한다.
• 현재 작업 손실과 버퍼에 저장된 과거 로짓 간의 KL/발산 유사 규제와 함께 최소화한다.
• KL 항을 로짓 매칭으로 근사한다(현재 로짓과 버퍼링된 로짓 간의 L2 거리).
• DER를 DER++로 확장하여 버퍼 로짓을 정렬하고 버퍼 샘플에 대해 작은 실제 손실 항을 최적화하는 항을 추가한다.
• Task-IL, Class-IL, Domain-IL 설정과 새 MNIST-360 GCL 프로토콜에서 평가한다.

실험 결과

연구 질문

• RQ1 로짓으로 간단한 리플레이(DER)가 GCL 제약 하에서 더 복잡한 지속 학습 방법을 능가할 수 있는가?
• RQ2 최적화 궤적의 로짓을 도입하면 유지, 보정, 그리고 작업 간 일반화에 도움이 되는가?
• RQ3 DER와 DER++는 표준 CL 벤치마크와 MNIST-360에서 ER, 정규화 방법, 그리고 다른 리허설 전략과 어떻게 비교되는가?
• RQ4 버퍼 크기와 하이퍼파라미터가 성능과 안정성에 미치는 영향은 무엇인가?

주요 결과

• DER 및 DER++는 여러 표준 CL 벤치마크(Class-IL, Task-IL, Domain-IL)에서 최첨단 성능을 달성한다.
• 로짓의Reservoir 기반 버퍼링은 ER 및 정규화 방법에 비해 평탄한 미니마를 제공하고 보정성을 향상시킨다.
• DER/DER++은 제약된 메모리와 합리적인 학습 시간으로 경쟁적이거나 우수한 결과를 보여주며, 특히 Domain-IL 및 Class-IL 작업에서 그렇다.
• DER는 더 평평한 최소지점으로 수렴하고 일부 베이스라인보다 Fisher 정보 흔적이 더 낮아 강건한 일반화 잠재력을 시사한다.
• DER++는 버퍼 샘플에 작은 실제 손실 항을 추가해 결과를 더욱 개선하며, 특히 더 어려운 벤치마크에서 유익하다.
• MNIST-360에서 DER 및 DER++은 여러 리플레이 기반 변형을 능가하여 도전적인 GCL 설정에서의 효과를 뒷받침한다.