[논문 리뷰] Toward Understanding Catastrophic Forgetting in Continual Learning

Cuong V. Nguyen, Alessandro Achille외 4명|arXiv (Cornell University)|2019. 08. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 33

한 줄 요약

논문은 작업 시퀀스 속성이 파국적 망각과 어떻게 관련되는지 연구하는 일반 절차를 제시하고, Task2Vec 임베딩을 사용하여 총 복잡도와 순차 이질성을 적용하며, MNIST와 CIFAR-10에서 SI, VCL, 코어셋 VCL의 최종 오차율과의 상관관계를 보고한다.

ABSTRACT

We study the relationship between catastrophic forgetting and properties of task sequences. In particular, given a sequence of tasks, we would like to understand which properties of this sequence influence the error rates of continual learning algorithms trained on the sequence. To this end, we propose a new procedure that makes use of recent developments in task space modeling as well as correlation analysis to specify and analyze the properties we are interested in. As an application, we apply our procedure to study two properties of a task sequence: (1) total complexity and (2) sequential heterogeneity. We show that error rates are strongly and positively correlated to a task sequence's total complexity for some state-of-the-art algorithms. We also show that, surprisingly, the error rates have no or even negative correlations in some cases to sequential heterogeneity. Our findings suggest directions for improving continual learning benchmarks and methods.

연구 동기 및 목표

• 연속 학습 오차율에 영향을 주는 작업 시퀀스의 속성이 무엇인지 이해한다.
• 작업 공간 임베딩을 통해 작업 시퀀스 속성을 정량화하는 일반 절차를 제안한다.
• 절차를 총 복잡도와 순차 이질성의 두 가지 속성에 적용한다.
• 이 속성과 최첨단 연속 학습 알고리즘의 최종 오차율 간의 상관관계를 분석한다.

제안 방법

• Task2Vec를 사용하여 사전 학습된 탐침 네트워크로부터 작업을 임베딩 벡터로 매핑한다.
• 작업 수준의 복잡도를 C(t)=d(e_t,e_0)로 정의한다.
• 작업 시퀀스 T에 대해 총 복잡도 C(T)=sum_t C(t)로 정의한다.
• 순차 이질성 F(T)=연속 작업 간 쌍별 서로 다름의 합으로 정의한다, F(t_i,t_{i+1})=d(e_{t_i},e_{t_{i+1}}).
• 연속 학습 알고리즘 A가 시퀀스에서 학습한 최종 오차율을 실제 난이도 H_A(T)로 측정한다.
• 다양한 시퀀스에서 (C(T),F(T))와 H_A(T) 간의 피어슨 상관을 계산하고, 필요에 따라 시퀀스 길이와 복잡성을 제어한다.
• MNIST와 CIFAR-10에서 다중 작업 시퀀스 및 멀티헤드 설정을 사용하여 SI, VCL, 코어셋 VCL를 실험한다.

실험 결과

연구 질문

• RQ1 작업 시퀀스의 어떤 속성(예: 총 복잡도, 순차 이질성)이 연속 학습의 난이도와 상관이 있는가?
• RQ2 시퀀스의 복잡도가 망각을 주로 좌우하는가, 아니면 연속 작업 간의 이질성이 중요한 역할을 하는가?
• RQ3 현대의 연속 학습 알고리즘(SI, VCL, 코어셋 VCL)은 이러한 시퀀스 속성의 변화에 어떻게 반응하는가?

주요 결과

Variable	Algorithm	MNIST-256^2	MNIST-50	MNIST-20	CIFAR-10
(a) 총 복잡도	SI	0.24 (p<0.01)	0.22 (p<0.05)	0.36 (p<0.01)	0.86 (p<0.01)
(a) 총 복잡도	VCL	0.05 (p=0.59)	0.17 (p=0.07)	0.21 (p<0.05)	0.69 (p<0.01)
(a) 총 복잡도	코어셋 VCL	0.28 (p<0.01)	0.41 (p<0.01)	0.37 (p<0.01)	-
(b) 순차 이질성	SI	-0.01 (p=0.86)	0.05 (p=0.55)	0.07 (p=0.48)	0.30 (p<0.01)
(b) 순차 이질성	VCL	0.04 (p=0.69)	0.01 (p=0.88)	0.05 (p=0.58)	0.21 (p<0.05)
(b) 순차 이질성	코어셋 VCL	0.09 (p=0.31)	0.12 (p=0.18)	0.18 (p=0.05)	-
(c) 표준화된 순차 이질성	SI	-0.07 (p=0.43)	-0.04 (p=0.65)	0.05 (p=0.58)	-0.25 (p<0.01)
(c) 표준화된 순차 이질성	VCL	0.03 (p=0.76)	-0.20 (p<0.05)	-0.21 (p<0.05)	-0.17 (p=0.06)
(c) 표준화된 순차 이질성	코어셋 VCL	-0.08 (p=0.37)	-0.26 (p<0.01)	-0.16 (p=0.07)	-

• 총 복잡도가 CIFAR-10에서 SI, VCL, 코어셋 VCL에 대해 최종 오차율과 강한 양의 상관을 보인다(예: SI r=0.86, p<0.01).
• MNIST에서 총 복잡도와 오차율의 상관은 더 약하지만 여전히 양의 상관이며, 모델 용량이 감소할수록 강해진다.
• 순차 이질성은 오차율과의 상관이 약하거나 혼합적이며, 표준화된 순차 이질성을 사용할 때 음의 상관을 보이는 경우가 있다.
• 표준화된 순차 이질성에 대한 음의 상관은 연속 작업 간의 더 큰 이질성이 연속 학습 성능을 개선할 수 있음을 시사한다.
• 코어셋 VCL은 모든 실험에서 총 복잡도와 오차율 간에 강한 양의 상관을 보이며, CIFAR-10과 MNIST 구성에서 일관된다(예: MNIST-256^2: 0.28, p<0.01; CIFAR-10: 0.69, p<0.01).
• 이러한 결과는 벤치마크 및 알고리즘 설계 시 작업 복잡도를 고려해야 함을 시사하며, 작업 간 전이의 경우에도 작업 쌍에 맞춘 커스터마이징이 이익을 줄 수 있음을 시사한다.