[논문 리뷰] Optimal Continual Learning has Perfect Memory and is NP-hard

Jeremias Knoblauch, Hisham Husain외 1명|arXiv (Cornell University)|2020. 06. 09.

Domain Adaptation and Few-Shot Learning인용 수 33

한 줄 요약

논문은 최적의 지속적 학습 알고리즘이 일반적으로 NP-hard 문제를 해결해야 하며 완벽한 기억이 필요하다고 주장하고, 경험 재현과 에피소드형 기억이 지속적 학습을 돕는 이유를 설명한다.

ABSTRACT

Continual Learning (CL) algorithms incrementally learn a predictor or representation across multiple sequentially observed tasks. Designing CL algorithms that perform reliably and avoid so-called catastrophic forgetting has proven a persistent challenge. The current paper develops a theoretical approach that explains why. In particular, we derive the computational properties which CL algorithms would have to possess in order to avoid catastrophic forgetting. Our main finding is that such optimal CL algorithms generally solve an NP-hard problem and will require perfect memory to do so. The findings are of theoretical interest, but also explain the excellent performance of CL algorithms using experience replay, episodic memory and core sets relative to regularization-based approaches.

연구 동기 및 목표

• 재앙적 망각을 피하기 위해 지속적 학습 모델을 조사하도록 동기를 부여한다.
• 최적의 지속적 학습 알고리즘이 필요로 하는 계산적 속성을 특성화한다.
• 메모리 기반 접근법의 경험적 성공이 규제 기반 방법에 비해 왜 더 큰가를 설명한다.

제안 방법

• 이상화된 지속적 학습(Idealized CL)을 알고리즘 함수 A_I와 A_θ로 정의한다.
• 고정된 기준 하에서 작업 시퀀스와 데이터 분포에 대한 형식적 프레이임워크를 확립한다.
• 최적의 CL은 망각을 피하기 위해 완벽한 기억으로 NP-hard 문제를 해결할 것을 요구한다고 주장한다.

실험 결과

연구 질문

• RQ1 망각을 피하기 위해 최적의 지속적 학습 알고리즘이 가져야 할 계산적 속성은 무엇인가?
• RQ2 실용적인 CL 전략들(예: 재생, 에피소드 기억, 코어 셋)이 최적의 CL의 속성들과 일치하는가?
• RQ3 메모리 기반 접근법이 지속적 학습에서 규제 기반 접근법보다 왜 더 성능이 뛰어난가?
• RQ4 작업 시퀀스와 데이터 분포가 주어졌을 때 이상화된 CL이 형식적 조건 아래 달성 가능하다고 할 수 있는가?

주요 결과

• 최적의 지속적 학습 알고리즘은 일반적으로 NP-hard 문제를 해결한다.
• 그러한 알고리즘은 망각을 방지하기 위해 완벽한 기억을 필요로 한다.
• 메모리 기반 방법(경험 재생, 에피소드 기억, 코어 셋)은 규제 기반 방법보다 더 나은 성능 설명을 제공한다.