[논문 리뷰] Theory on Forgetting and Generalization of Continual Learning

Sen Lin, Peizhong Ju외 2명|arXiv (Cornell University)|2023. 02. 12.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 과초파라미터화 선형 모델에서 연속학습(continual learning) 중 망각 및 일반화 오차에 대한 최초의 명시적 닫힌 형식 표현을 제시하고, 과파라미터화, 과제 유사성, 과제 순서가 이러한 지표에 어떤 영향을 미치는지 분석하며, 깊은 네트워크에서의 검증까지 제공한다.

ABSTRACT

Continual learning (CL), which aims to learn a sequence of tasks, has attracted significant recent attention. However, most work has focused on the experimental performance of CL, and theoretical studies of CL are still limited. In particular, there is a lack of understanding on what factors are important and how they affect "catastrophic forgetting" and generalization performance. To fill this gap, our theoretical analysis, under overparameterized linear models, provides the first-known explicit form of the expected forgetting and generalization error. Further analysis of such a key result yields a number of theoretical explanations about how overparameterization, task similarity, and task ordering affect both forgetting and generalization error of CL. More interestingly, by conducting experiments on real datasets using deep neural networks (DNNs), we show that some of these insights even go beyond the linear models and can be carried over to practical setups. In particular, we use concrete examples to show that our results not only explain some interesting empirical observations in recent studies, but also motivate better practical algorithm designs of CL.

연구 동기 및 목표

• 선형 회귀 설정에서 연속학습에서의 망각 및 일반화 오차를 명시적으로 특성화한다.
• 시스템 매개변수(과제/샘플/매개변수의 수, 잡음, 과제 유사성/순서)가 망각 및 일반화에 미치는 영향을 보여준다.
• 과파라미터화 및 과제 관계가 CL 성능에 미치는 영향을 설명하고 실용적인 알고리즘 설계로의 가이드를 제공한다.
• 이론과 실용적 CL 설계의 다리를 놓아 선형-모델 통찰을 깊은 네트워크에 대한 실험으로 검증한다.

제안 방법

• i.i.d. 가우시안 특징 및 잡음을 가지는 순차적 선형 회귀로 연속학습을 모델링한다.
• 망각 F_t와 평가 손실을 이용한 테스트 손실을 포함한 학습 및 평가 지표를 정의한다.
• 정리 4.1에서 과초파라미터화 국면(p ≥ n+2)에서 E[F_T] 및 E[G_T]에 대한 명시적 표현을 도출한다.
• 정리 4.3을 통해 매개변수 규칙(과초파라미터화 대 과소파라미터화) 하에서 분석한다.
• 코롤로리(예: T=2)를 사용해 과제 유사성과 망각 및 일반화에 미치는 영향을 해석한다.
• MNIST에서 DNN을 사용한 실험으로 과제 유사성과 과제 순서를 연구하여 통찰을 검증한다.

실험 결과

연구 질문

• RQ1 과초파라미터화, 과제 유사성 및 과제 순서가 연속학습에서 망각 및 일반화에 정량적으로 어떤 영향을 미치는가?
• RQ2 선형적이고 과초파라미터화된 CL 설정에서 망각 및 일반화 오차에 대한 명시적 닫힌 형식 표현을 도출할 수 있는가?
• RQ3 선형-모델의 통찰이 실용적 딥러닝 설정으로 일반화되고 알고리즘 설계에 가이드를 제시하는가?

주요 결과

• 과초파라미터화된 선형 CL 설정에서 망각 및 일반화 오차에 대한 명시적 닫힌 형식 표현이 존재한다(정리 4.1).
• 망각 및 일반화 오차는 과제 유사성에 대해 서로 다른 의존성을 보이며 특정 잡음 및 유사성 조건에서 전향적 과적합(benign overfitting)을 보일 수 있다.
• 일반화 오차는 더 높은 과제 유사성에 따라 감소하는 경향이 있으며, 과제 순서 계수로 인해 망각은 유사성에 대해 단조롭게 증가하지 않을 수 있다.
• 최적의 과제 순서는 조기에 서로 다르면 더 다양한 과제를 인접해 학습하도록 하는 경향이 있으며, 특별한 경우의 결과는 교대 범주 학습이 망각을 최소화할 수 있음을 시사한다.
• 저자들은 과소파라미터화 국면에서 망각 및 일반화가 서로 다른 표현식(정리 4.3)을 따른다고 보여주며, 이는 전향적 과적합의 조건을 설명한다.
• MNIST에서 DNN을 이용한 실험은 선형 모델의 통찰을 확인하며 과제 유사성과 과제 순서에 대해 유사한 경향을 보인다.