[논문 리뷰] Re-evaluating Continual Learning Scenarios: A Categorization and Case for Strong Baselines

Yen-Chang Hsu, Yen‐Cheng Liu외 2명|arXiv (Cornell University)|2018. 10. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 206

한 줄 요약

논문은 지속 학습 시나리오를 분류하고, 일관된 평가 프레임워크를 제시하며, 간단한 baselines가 작업 간 최첨단 방법과 대등하게 경쟁할 수 있음을 보여준다. 또한 공정 벤치마킹을 위한 PyTorch 코드를 공개한다.

ABSTRACT

Continual learning has received a great deal of attention recently with several approaches being proposed. However, evaluations involve a diverse set of scenarios making meaningful comparison difficult. This work provides a systematic categorization of the scenarios and evaluates them within a consistent framework including strong baselines and state-of-the-art methods. The results provide an understanding of the relative difficulty of the scenarios and that simple baselines (Adagrad, L2 regularization, and naive rehearsal strategies) can surprisingly achieve similar performance to current mainstream methods. We conclude with several suggestions for creating harder evaluation scenarios and future research directions. The code is available at https://github.com/GT-RIPL/Continual-Learning-Benchmark

연구 동기 및 목표

• 지속 학습 실험 방법론의 체계적 분류를 제공한다.
• 지속 학습 시나리오를 생성하고 평가하기 위한 일관된 프레임워크를 개발한다.
• 일관된 튜닝 예산 하에서 현재 최첨단 방법과 강력한 baselines를 비교한다.
• 진정으로 어려운 시나리오와 단순한 방법으로 충분한 경우를 강조한다.
• 더 어렵고 더 현실적인 지속 학습 벤치마크를 위한 방향을 제시한다.

제안 방법

• 입력/출력 분포의 차이와 T1에서 T2로의 태스크 식별을 통해 지속 학습 시나리오를 분류한다.
• 태스크 시퀀스를 생성하고 일관된 설정에서 방법을 평가하기 위한 일관되고 유연한 프레임워크를 제안한다.
• Split MNIST와 Permuted MNIST를 사용하여 Adagrad, L2, naive rehearsal 등 광범위한 baselines를 최첨단 지속 학습 방법과 비교한다.
• 공정한 비교를 가능하게 하기 위해 방법 간 총 메모리 오버헤드를 제어한다.
• 정규화 기반 방법의 성능이 하이퍼파라미터 튜닝에 얼마나 의존하는지와 강력한 baselines의 튜닝 없이도 성능이 나올 수 있는지 분석한다.

실험 결과

연구 질문

• RQ1 기존의 지속 학습 시나리오가 태스크 및 분포 이동에서 어떻게 다른지, 이를 일관되게 분류하려면 어떻게 해야 하는지?
• RQ2 일관된 평가 프레임워크 하에서 단순 baselines(예: Adagrad, L2, naive rehearsal)가 최첨단 지속 학습 방법과 일치하거나 능가하는가?
• RQ3 증분 태스크 학습, 도메인 학습, 클래스 학습 시나리오 간 상대적 난이도에 대한 어떤 통찰이 드러나는가?
• RQ4 데이터 분할 또는 순열 선택이 인식된 난이도와 비교의 공정성에 어떻게 영향을 미치는가?
• RQ5 현실성과 도전을 높이기 위한 지속 학습 벤치마크에 대한 제안은 무엇인가?

주요 결과

Method	Memory	Incremental task learning	Incremental domain learning	Incremental class learning
Adam		93.46 ± 2.01	55.16 ± 1.38	19.71 ± 0.08
SGD		97.98 ± 0.09	63.20 ± 0.35	19.46 ± 0.04
Adagrad		98.06 ± 0.53	58.08 ± 1.06	19.82 ± 0.09
L2		98.18 ± 0.96	66.00 ± 3.73	22.52 ± 1.08
Naive rehearsal	✓	99.40 ± 0.08	95.16 ± 0.49	90.78 ± 0.85
Naive rehearsal-C	✓	99.57 ± 0.07	97.11 ± 0.34	95.59 ± 0.49
EWC		97.70 ± 0.81	58.85 ± 2.59	19.80 ± 0.05
Online EWC		98.04 ± 1.10	57.33 ± 1.44	19.77 ± 0.04
SI		98.56 ± 0.49	64.76 ± 3.09	19.67 ± 0.09
MAS		99.22 ± 0.21	68.57 ± 6.85	19.52 ± 0.29
LwF		99.60 ± 0.03	71.02 ± 1.26	24.17 ± 0.33
GEM	✓	98.42 ± 0.10	96.16 ± 0.35	92.20 ± 0.12
DGR	✓	99.47 ± 0.03	95.74 ± 0.23	91.24 ± 0.33
RtF	✓	99.66 ± 0.03	97.31 ± 0.11	92.56 ± 0.21
Offline (upper bound)		99.52 ± 0.16	98.59 ± 0.15	97.53 ± 0.30

• Adagrad 및 L2 정규화가 종종 온라인 EWC를 능가하고 시나리오 전반에서 SI와 동등하게 작용한다.
• 메모리 오버헤드가 일치할 때 단순 리허설은 많은 최첨단 방법과 비슷하거나 우수한 성능을 보인다.
• 증분 태스크 학습이 가장 쉬운 시나리오이고, 증분 클래스 학습이 증분 도메인 학습보다 더 어려우며, 순열 기반 설정이 일반적으로 분할 기반보다 쉽다.
• 정규화 기반 방법은 상당한 하이퍼파라미터 튜닝이 필요하지만, 튜닝 없이도 간단한 baselines가 잘 작동하는 경우가 있어 실제 적용 가능성에 대한 우려가 있다.
• Permuted MNIST 시나리오는 많은 방법에서 Split MNIST 시나리오보다 쉬운 경향이 있어 더 어려운 벤치마크의 필요성을 시사한다.