[논문 리뷰] Dark Experience for General Continual Learning: a Strong, Simple Baseline

Pietro Buzzega, M. Boschini외 3명|arXiv (Cornell University)|2020. 04. 15.

Domain Adaptation and Few-Shot Learning인용 수 272

한 줄 요약

이 논문은 Dark Experience Replay(DER) 및 DER++를 도입합니다. 최적화 궤적에서 로짓(logits)을 저장하고 이를 지식 증류와 함께 사용하여 일반 지속 학습(GCL) 하에서 망각을 완화하는 간단한 재생 기반 Baseline이며; DER/DER++은 표준 CL 벤치마크와 새로운 MNIST-360 설정에서 많은 방법들을 능가합니다.

ABSTRACT

Continual Learning has inspired a plethora of approaches and evaluation settings; however, the majority of them overlooks the properties of a practical scenario, where the data stream cannot be shaped as a sequence of tasks and offline training is not viable. We work towards General Continual Learning (GCL), where task boundaries blur and the domain and class distributions shift either gradually or suddenly. We address it through mixing rehearsal with knowledge distillation and regularization; our simple baseline, Dark Experience Replay, matches the network's logits sampled throughout the optimization trajectory, thus promoting consistency with its past. By conducting an extensive analysis on both standard benchmarks and a novel GCL evaluation setting (MNIST-360), we show that such a seemingly simple baseline outperforms consolidated approaches and leverages limited resources. We further explore the generalization capabilities of our objective, showing its regularization being beneficial beyond mere performance.

연구 동기 및 목표

• 작업 경계가 흐려지고 온라인 학습이 우세한 일반 지속 학습(GCL)을 동기 부여하고 형식화한다.
• 리허설과 지식 증류를 로짓의 재생으로 결합한 간단한 Baseline을 제안한다.
• DER 및 DER++가 GCL 설정에서 최첨단 성능을 달성함을 보여주고, 이들의 규제화(정규화) 및 보정(calibration) 특성을 분석한다.

제안 방법

• DER를 현재 작업 손실과 저장된 과거 로짓들 간의 알파 가중 KL/로짓 거리 항을 더한 값을 최소화하는 것으로 정의한다.
• 재생 버퍼에 정답 라벨이 아닌 로짓(z)을 저장하여 과거 지식을 증류한다.
• 데이터 스트림으로부터 작업-독립적인 메모리 버퍼를 유지하기 위해 저수지 샘플링을 사용한다.
• DER++는 추가로 과거 데이터와 정답 가이던스 간의 정렬도 포함하는 두 번째 규제 항을 추가하며, 이는 베타 가중 손실 구성요소를 통해 작동한다.
• 로짓을 맞추는 것이 프리-softmax 응답을 맞추는 것을 근사하며, KL 발산을 로짓의 유클리드 차이와 연결한다고 주장한다.
• 실용적 학습 단계가 포함된 DER 및 DER++ 알고리즘을 제공한다.

실험 결과

연구 질문

• RQ1 몇 가지 주요 CL 설정(Task-IL, Class-IL, Domain-IL)에서 작업 경계 없이 간단한 로짓 기반 재생 Baseline(DER)이 일반화되는가?
• RQ2 DER가 규제 기반 및 다른 재현 기반 방법과 비교하여 정확도, 보정, 훈련 효율성 측면에서 어떤 차이가 있는가?
• RQ3 저수지 기반의 작업-독립적 메모리 버퍼가 테스트 시 작업 식별자가 없더라도 지속 학습을 효과적으로 지원하는가?
• RQ4 DER++가 재생에서 정답 가이던스를 통합함으로써 추가 이점을 제공하는가?
• RQ5 두드러진 분포 변화가 갑작스러운 MNIST-360이라는 새로운 GCL 벤치마크에서 DER/DER++의 동작은 어떠한가?

주요 결과

• DER 및 DER++가 여러 CL 벤치마크에서 최첨단 성능을 달성하며, 재현 기반 및 비재현-baseline보다 종종 우수하다.
• DER는 보다 완만한 최소점으로 수렴하고 ER 및 다른 베이스라인보다 보정이 우수하여 견고성과 해석 가능성이 향상된다.
• 최적화 궤적의 로짓(작업 경계 출력이 아닌)과 저수지 샘플링을 사용하면 메모리의 유용성 및 작업 간 일관성이 향상된다.
• DER/DER++는 작업 경계가 없거나 구분되지 않는 설정에서 특히 Domain-IL 및 Class-IL에서 강한 성능을 보인다.
• DER++가 제시된 방법들 중 일반적으로 최상의 결과를 제공하며, 특히 버퍼 크기가 제약될 때 더 두드러진다.
• MNIST-360은 급격하고 점진적인 분포 변화가 결합된 새로운 GCL 체제에서도 DER/DER++가 효과적임을 보여준다.