[논문 리뷰] A Theoretical Analysis of Catastrophic Forgetting through the NTK Overlap Matrix

Thang Doan, Mehdi Bennani외 3명|arXiv (Cornell University)|2020. 10. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 16

한 줄 요약

이 논문은 지속적 학습에서 치명적 망각을 정량화하는 이론적 측도로 NTK 오버랩 행렬을 도입한다. 직교 투영 방법인 OGD를 분석하고, 주성분을 통해 작업 데이터를 압축하여 망각을 줄이는 PCA-OGD를 제안하며, Split MNIST와 CIFAR-100에서 더 높은 정확도와 감소된 망각 오차를 보여준다.

ABSTRACT

Continual learning (CL) is a setting in which an agent has to learn from an incoming stream of data during its entire lifetime. Although major advances have been made in the field, one recurring problem which remains unsolved is that of Catastrophic Forgetting (CF). While the issue has been extensively studied empirically, little attention has been paid from a theoretical angle. In this paper, we show that the impact of CF increases as two tasks increasingly align. We introduce a measure of task similarity called the NTK overlap matrix which is at the core of CF. We analyze common projected gradient algorithms and demonstrate how they mitigate forgetting. Then, we propose a variant of Orthogonal Gradient Descent (OGD) which leverages structure of the data through Principal Component Analysis (PCA). Experiments support our theoretical findings and show how our method can help reduce CF on classical CL datasets.

연구 동기 및 목표

• 지속적 학습에서 치명적 망각을 이론적으로 설명하기 위해 신경 탄성 커널(NTK) 영역을 활용한 프레임워크를 제공한다.
• 작업 간 유사도를 정량화하는 새로운 측도인 NTK 오버랩 행렬을 정의하여, 작업 간 정렬이 망각을 증가시킬 수 있음을 밝힌다.
• NTK 프레임워크 내에서 OGD 및 GEM과 같은 직교 투영 방법의 망각 메커니즘을 분석한다.
• 작업 표현을 압축하고 망태를 줄이기 위해 주성분 분석(PCA)을 활용하는 개선된 OGD 버전인 PCA-OGD를 제안한다.
• 기존의 표준 지속적 학습 벤치마크인 Split MNIST 및 CIFAR-100에서 이론적 결과를 실증적으로 검증한다.

제안 방법

• NTK 오버랩 행렬은 NTK 영역에서 소스 작업과 타겟 작업의 기울기 유사도를 측정하기 위해 유도되며, 작업 간 정렬이 망각을 증가시킬 수 있음을 반영한다.
• NTK 오버랩 행렬을 사용하여 투영 기반 방법의 망각 오차를 이론적으로 표현하며, 망각의 크기를 결정하는 데서 그 중심적 역할을 입증한다.
• 기본 방법으로서 직교 기울기 하강(OGD)은 과거 작업 성능을 유지하기 위해 기울기를 잔여 부분공간에 투영하는 방식으로 분석된다.
• PCA-OGD는 메모리 버퍼에 주성분 분석을 적용하여 기울기 투영 전에 가장 정보가 많은 주성분만 유지함으로써 OGD의 확장으로 제안된다.
• 이 방법은 데이터의 구조를 활용하여 변동의 주요 방향에 집중함으로써 잡음이나 중복된 메모리 샘플의 영향을 줄인다.
• 이론적 분석을 통해 PCA-OGD는 OGD와 유사한 점 渐진적 계산 복잡도를 유지하며, 소수의 주성분 수에 대해 PCA 단계에서 약간의 오버헤드만 추가됨을 보여준다.

실험 결과

연구 질문

• RQ1 NTK 오버랩 행렬로 측정된 작업 유사도는 지속적 학습에서 치명적 망각의 크기에 어떤 영향을 미치는가?
• RQ2 OGD와 같은 직교 투영 방법이 망각을 줄이는 이론적 메커니즘은 무엇인가?
• RQ3 PCA-OGD가 표준 OGD를 초월해 망각을 완화하는 데서 유의미한 성능 향상을 보이는 상황은 언제인가?
• RQ4 작업 데이터의 구조, 특히 주성분 방향은 PCA-OGD의 성능에 어떤 영향을 미치는가?
• RQ5 메모리 크기를 증가시키면 PCA-OGD가 OGD 대비 망각 감소에서 유의미한 이점을 더 확보하는가?

주요 결과

• Split MNIST에서 PCA-OGD는 최종 정확도 99.67 ± 0.08을 기록하여 OGD(99.64 ± 0.09)를 초월하고 망각 오차를 감소시켰다.
• CIFAR-100에서 PCA-OGD는 최종 정확도 94.14 ± 0.42를 기록하여 동일한 설정에서 OGD(94.41 ± 0.40)보다 낮은 망각을 보였다.
• NTK 오버랩 행렬은 망각의 핵심 결정 요소로 규명되었으며, 작업 간 정렬이 높을수록 망각의 심각도가 증가함을 입증했다.
• 균일 분포 데이터의 악성 케이스에서 PCA-OGD는 OGD보다 더 높은 망각을 보였으며, 이는 데이터 구조 의존성의 정당성을 확인한다.
• 메모리 크기를 증가시킴으로써 PCA-OGD의 성능 향상이 확인되었으며, NTK 오버랩 행렬의 고유값 분석을 통해 주성분 방향과의 더 나은 정렬이 이루어짐을 확인했다.
• PCA-OGD의 계산 복잡도는 OGD와 점 渐진적 동일한 수준을 유지하며, 소수의 주성분 수에 대해 PCA 단계에서 추가 오버헤드가 거의 없음을 입증했다.