[논문 리뷰] Three scenarios for continual learning

Gido M. van de Ven, Andreas S. Tolias|Lirias (KU Leuven)|2019. 04. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 556

한 줄 요약

이 논문은 테스트 시점의 작업 식별이 제공되는지 여부와 이를 추론해야 하는지 여부에 따라 세 가지 지속적 학습 시나리오를 정의하고, split MNIST와 permuted MNIST를 통해 이러한 시나리오들에서 방법들을 광범위하게 실증적으로 비교합니다.

ABSTRACT

Standard artificial neural networks suffer from the well-known issue of catastrophic forgetting, making continual or lifelong learning difficult for machine learning. In recent years, numerous methods have been proposed for continual learning, but due to differences in evaluation protocols it is difficult to directly compare their performance. To enable more structured comparisons, we describe three continual learning scenarios based on whether at test time task identity is provided and--in case it is not--whether it must be inferred. Any sequence of well-defined tasks can be performed according to each scenario. Using the split and permuted MNIST task protocols, for each scenario we carry out an extensive comparison of recently proposed continual learning methods. We demonstrate substantial differences between the three scenarios in terms of difficulty and in terms of how efficient different methods are. In particular, when task identity must be inferred (i.e., class incremental learning), we find that regularization-based approaches (e.g., elastic weight consolidation) fail and that replaying representations of previous experiences seems required for solving this scenario.

연구 동기 및 목표

• 테스트 시점에서의 작업 식별이 난이도에 미치는 영향을 명확히 하여 지속적 학습에 대한 표준화된 평가를 고무한다.
• 난이도가 증가하는 세 가지 지속적 학습 시나리오(Task-IL, Domain-IL, Class-IL)를 도입한다.
• 이 세 시나리오에 걸쳐 대표적인 지속적 학습 방법들의 포괄적인 실증 비교를 제공한다.
• 작업 식별을 추론해야 하는 Class-IL에서 재생 기반 접근법의 중요성을 보여준다.

제안 방법

• 테스트 시점의 작업 식별 가능 여부와 추론 요구에 따라 세 가지 시나리오를 정의한다.
• 각 시나리오에서 여러 지속적 학습 방법(XdG, EWC, Online EWC, SI, LwF, DGR, DGR+distill, iCaRL)을 비교한다.
• 일관된 단일 네트워크 구조를 사용한다(스플릿 MNIST의 경우 2개의 은닉층, 스플릿/퍼뮤테드 MNIST의 경우 2개의 은닉층에 각각 400/1000 유닛) 및 시나리오별로 작업별 또는 공유 출력 구성을 적용한다.
• 작업 경계가 명확한 split MNIST 및 permuted MNIST 작업 프로토콜을 사용한다.
• 표준화된 학습 설정(Adam 옵티마이저, 지정된 반복 수, 메모리 예산)으로 성능을 평가하고 20개의 시드에 대한 평균 ± SEM을 보고한다.

실험 결과

연구 질문

• RQ1 세 가지 지속적 학습 시나리오가 공통 방법을 평가할 때 난이도에서 어떻게 차이가 나는가?
• RQ2 작업 식별을 추론해야 할 때 규제 기반 접근이 충분한가, 아니면 재생 기반 전략이 필요한 능력을 제공하는가?
• RQ3 split MNIST(두 업무)와 permuted MNIST(10개의 업무) 프로토콜 간 시나리오별 성능 차이는 어떤가?
• RQ4 작업 경계와 재생 메커니즘이 다양한 작업 시퀀스에 걸쳐 확장 가능한 지속적 학습을 가능하게 하는가?

주요 결과

• Task-IL은 가장 쉬운 시나리오이며, 테스트 시점에 작업 식별이 제공될 때 대부분의 방법이 잘 작동한다.
• Domain-IL 및 Class-IL은 훨씬 더 어렵다; 규제 기반 방법(EWC, Online EWC, SI)은 고전적으로 고전하고 Class-IL에서 실패한다.
• 재생 기반 방법(LwF, DGR, DGR+distill, iCaRL)은 Domain-IL과 Class-IL에서 강력한 성능을 달성하며 종종 split MNIST 작업에서 90% 이상의 정확도를 넘는다.
• LwF는 split MNIST에서 효과적일 수 있지만 입력 분포 차이로 인해 permuted MNIST에서는 저조할 수 있다; 생성적 재생(DGR) 및 증류(varients)는 시나리오 전반에서 강건한 성능을 제공하는 경향이 있다.
• iCaRL은 예시를 사용할 수 있을 때 강력한 성능을 보여주며 지속적 학습에서 예시 재생의 가치를 입증한다.
• 작업 간 재생 기반 접근이 규제 기반 전략보다 일관되게 우수한 경향이 있다(작업 식별이 추론되어야 하는 경우).