[논문 리뷰] How catastrophic can catastrophic forgetting be in linear regression?

Itay Evron, Edward Moroshko외 3명|arXiv (Cornell University)|2022. 05. 19.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 순차적 작업 학습 하에서 과다 매개변수화된 선형 회귀에서 치명적인 잊음(catastrophic forgetting)을 분석하며, 이를 반복적인 해공간에의 투영으로 프레임화한다. 잊음에 대한 엄밀한, 데이터에 의존하지 않는 상한을 도출하며, 순환적 작업 순서에서는 최악의 경우 잊음이 $T^2 \min\{1/\sqrt{k}, d/k\}$ 비례함을 보이고, 랜덤 순서에서는 이 값이 $d/k$로 감소함을 보여주며, 이는 정규화나 리플레이 기법 없이도 계속 학습하는 데서 근본적인 한계를 드러낸다.

ABSTRACT

To better understand catastrophic forgetting, we study fitting an overparameterized linear model to a sequence of tasks with different input distributions. We analyze how much the model forgets the true labels of earlier tasks after training on subsequent tasks, obtaining exact expressions and bounds. We establish connections between continual learning in the linear setting and two other research areas: alternating projections and the Kaczmarz method. In specific settings, we highlight differences between forgetting and convergence to the offline solution as studied in those areas. In particular, when T tasks in d dimensions are presented cyclically for k iterations, we prove an upper bound of T^2 * min{1/sqrt(k), d/k} on the forgetting. This stands in contrast to the convergence to the offline solution, which can be arbitrarily slow according to existing alternating projection results. We further show that the T^2 factor can be lifted when tasks are presented in a random ordering.

연구 동기 및 목표

• 순차적 학습 하에서 과다 매개변수화된 선형 회귀 모델에서 최악의 치명적인 잊음을 이론적으로 특성화하는 것.
• 지속 학습, 번갈아 가는 투영, 카츠카르즈 방법 간의 연결 고리를 설정하여 잊음에 대한 새로운 데이터에 의존하지 않는 상한을 도출하는 것.
• 정규화나 리플레이 없이도 작업 순서(순환 대 비순환)와 작업 유사도(해공간 간 각도)가 잊음에 어떤 영향을 미치는지 조사하는 것.
• 정규화나 명시적 보완 기법 없이도 잊음이 최소 또는 최대가 되는 조건을 특정하는 것.

제안 방법

• 지속 학습을 현재 해를 각 새로운 작업의 해공간에 반복적으로 수직 투영하는 것으로 모델링한다.
• 잊음의 정도를 $\| (I - P_1)(P_2 P_1)^n \|_2^2$로 정량화하며, 이는 이전 작업의 해에 대한 거리에 초점을 맞춘다.
• 반복적 투영과 카츠카르즈 방법의 도구를 적용하여 잊음에 대한 균일한, 데이터에 의존하지 않는 상한과 하한을 도출한다.
• 두 가지 작업 순서 체계를 분석한다: 순환(고정된 순서로 작업을 반복) 및 랜덤(작업을 이ambic 순서로 배치).
• 투영 행렬의 곱의 스펙트럼 분석을 통해 상한을 유도하고, 랜덤 순서의 경우 농도 부등식을 활용한다.
• 전역 해가 존재하는 실현 가능성 가정을 고려하여, 오프라인 최소 노름 해로의 수렴 분석이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 정규화 없이 순차적으로 작업을 학습할 때 선형 회귀에서 발생할 수 있는 최악의 잊음은 무엇인가?
• RQ2 지속 학습 환경에서 순환적과 랜덤 작업 순서 간의 잊음 행동은 어떻게 다를까?
• RQ3 연속된 작업 해공간 간의 각도가 잊음 속도를 결정하는 데 어떤 역할을 하는가?
• RQ4 수렴 속도가 임의로 느릴 수 있는 상황에서도 여전히 비잔연한 데이터에 의존하지 않는 잊음 상한을 도출할 수 있는가?
• RQ5 수치 $T$와 차원 $d$가 순환 설정에서 잊음의 상한에 어떻게 함께 영향을 미치는가?

주요 결과

• 순환적 작업 순서에서 $T \geq 3$개의 작업과 $k$회의 반복이 있을 경우, 잊음은 균일하게 $T^2 \min\{1/\sqrt{k}, d/k\}$ 이하로 상한이 정해진다.
• 동일한 순환 설정에서 잊음은 하한이 $T^2 / k$로, 최악의 경우에서 $T^2$ 의존성이 정확히 유지됨을 보여주며, 이는 이 상한이 날카로운 것을 의미한다.
• 랜덤 작업 순서에서는 기대 잊음이 $d/k$ 이하로 제한되며, $T$에 독립적임을 보여주며, 최악의 경우의 잊음이 상당히 감소함을 입증한다.
• 작업이 거의 정렬되어 있을 경우(작은 각도), 반복 노출이 더 높은 잊음을 유도하지만, 중간 각도에서는 단일 통과 후에 가장 높은 잊음이 발생한다.
• 논문은 정규화나 리플레이 없이도 선형 모델조차도 잊음이 최대이며 사실상 치명적일 수 있음을 규명한다.
• 분석은 근본적인 비대칭성을 드러낸다: 반복적 투영에서처럼 오프라인 해로의 수렴이 매우 느릴 수는 있지만, 최악의 경우에서 잊음은 여전히 엄밀하게 상한이 정해진다.