[논문 리뷰] Continual Learning in the Teacher-Student Setup: Impact of Task Similarity

Sebastian Lee, Sebastian Goldt외 1명|arXiv (Cornell University)|2021. 07. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 7

한 줄 요약

이 논문은 두 층 신경망을 사용한 교사-학생 프레임워크를 통해 지속적 학습에서 치명적인 잊음(catastrophic forgetting)을 조사하며, 온라인 SGD 하에서 일반화 오차의 역학을 분석적으로 유도한다. 이는 임계적인 유사도가 과제 간 특징 및 출력 가중치에서 발생할 때 최대의 잊음이 발생하며, 비단순적인 잊음 곡선과 특징 및 출력 가중치 유사도 간의 복잡한 상호작용을 드러낸다.

ABSTRACT

Continual learning-the ability to learn many tasks in sequence-is critical for artificial learning systems. Yet standard training methods for deep networks often suffer from catastrophic forgetting, where learning new tasks erases knowledge of earlier tasks. While catastrophic forgetting labels the problem, the theoretical reasons for interference between tasks remain unclear. Here, we attempt to narrow this gap between theory and practice by studying continual learning in the teacher-student setup. We extend previous analytical work on two-layer networks in the teacher-student setup to multiple teachers. Using each teacher to represent a different task, we investigate how the relationship between teachers affects the amount of forgetting and transfer exhibited by the student when the task switches. In line with recent work, we find that when tasks depend on similar features, intermediate task similarity leads to greatest forgetting. However, feature similarity is only one way in which tasks may be related. The teacher-student approach allows us to disentangle task similarity at the level of readouts (hidden-to-output weights) and features (input-to-hidden weights). We find a complex interplay between both types of similarity, initial transfer/forgetting rates, maximum transfer/forgetting, and long-term transfer/forgetting. Together, these results help illuminate the diverse factors contributing to catastrophic forgetting.

연구 동기 및 목표

• 지속적 학습에서 치명적인 잊음의 이론적 메커니즘, 특히 과제 유사도의 역할을 이해하기 위해.
• 특징 유사도(입력-은닉 가중치)와 출력 유사도(은닉-출력 가중치)가 잊음과 전이에 미치는 영향을 분리하기 위해.
• 이중층 네트워크에서 두 개의 다른 교사에 대한 순차적 훈련으로 지속적 학습을 모델링하며, 일반화 오차의 역학을 예측하기 위해 분석적 방법을 사용하기 위해.
• 초기, 최대, 장기적 잊음과 전이가 특징 및 출력 유사도 간 상호작용에 따라 어떻게 달라지는지 정량화하기 위해.
• 비직관적인 실험적 결과—예를 들어 중간 수준의 유사도가 가장 심한 잊음을 유도한다는 것—을 통제된 분석적 프레임워크로 설명하기 위해.

제안 방법

• 고전적인 교사-학생 모델을 두 개의 순차적 교사(다른 과제를 나타냄)를 가진 지속적 학습 설정으로 확장한다.
• 무한한 넓이 근사에서 온라인 SGD를 사용하여 테스트 오차의 진화에 대한 닫힌 형태의 역학 방정식 세트를 유도하며, 이는 기존 표준 지도 학습 연구를 일반화한다.
• 과제 유사도를 오버랩 파라미터로 모델링: 특징 유사도(𝑊† 및 𝑊‡)에 대한 𝛼와 출력 유사도(𝑣† 및 𝑣‡)에 대한 𝑉̃.
• 평균장 및 미분방정식(O) 근사법을 사용하여 일반화 오차의 시간 진화, 잊음(Fₜ) 및 전이(Tₜ)를 분석한다.
• N=10⁴개의 입력 차원을 사용한 수치 시뮬레이션을 수행하여 이론적 예측을 검증하고, ODE 결과와 시뮬레이션 결과를 비교한다.
• 교체 후 특징 가중치의 이동을 실증적으로 추적하여 출력 유사도가 재학습 역학에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 과제 유사도, 특히 중간 수준의 유사도가 지속적 학습에서 치명적인 잊음의 정도에 어떻게 영향을 미치는가?
• RQ2 특징 유사도(입력-은닉 가중치)와 출력 유사도(은닉-출력 가중치) 중 어느 것이 잊음과 전이에 더 큰 기여를 하는가?
• RQ3 특징 및 출력 유사도 간의 상호작용이 비단순적인 잊음 곡선을 유도하는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ4 초기 잊음 및 전이의 역학이 교사 네트워크 간 오버랩에 따라 어떻게 달라지는가?
• RQ5 특징이 동일한 경우에도 출력 유사도가 최적화 경로를 얼마나 편향시키는가?

주요 결과

• 중간 수준의 과제 유사도가 가장 높은 치명적인 잊음을 유도하며, 비직관적인 실험적 관찰을 확인한다.
• 잊음은 특징 유사도 𝛼에 대해 비단순적인 관계를 보이며, 중간 𝛼 값에서 최고로 높아지고, 낮거나 높은 유사도에서는 감소한다.
• 출력 유사도(Ṽ)는 잊음 역학에 크게 영향을 미친다: 낮은 Ṽ일수록 교체 후 특징 가중치의 이동이 더 크며, 이는 재학습 비용 증가를 초래한다.
• 특징이 동일한 경우에도 높은 출력 유사도는 더 나은 전이를 유도하며, 이는 재학습 노력 감소로 이어지며, SGD 역학에 대한 편향을 나타낸다.
• 높은 특징 유사도에서는 장기적 잊음 곡선이 평탄해지며, 극한의 오버랩에서 최소한의 잊음이 관찰되어 안정적인 통합이 이루어짐을 시사한다.
• 이론적 ODE 예측은 수치 시뮬레이션과 밀도 있게 일치하며, 과제 교체 후 다양한 시간 간격에서 분석 프레임워크의 타당성을 검증한다.