[논문 리뷰] Understanding the Role of Training Regimes in Continual Learning

Seyed Iman Mirzadeh, Mehrdad Farajtabar외 2명|arXiv (Cornell University)|2020. 06. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 91

한 줄 요약

이 논문은 간단한 학습 규칙(드롭아웃, 학습률 감소, 작은 배치 크기)이 손실 지형을 형성하여 연속 학습에서의 재잊힘을 줄이는 방식에 대해 분석하고, 더 넓은 최소가 더 나은 안정성으로 이어진다고 제안한다.

ABSTRACT

Catastrophic forgetting affects the training of neural networks, limiting their ability to learn multiple tasks sequentially. From the perspective of the well established plasticity-stability dilemma, neural networks tend to be overly plastic, lacking the stability necessary to prevent the forgetting of previous knowledge, which means that as learning progresses, networks tend to forget previously seen tasks. This phenomenon coined in the continual learning literature, has attracted much attention lately, and several families of approaches have been proposed with different degrees of success. However, there has been limited prior work extensively analyzing the impact that different training regimes -- learning rate, batch size, regularization method-- can have on forgetting. In this work, we depart from the typical approach of altering the learning algorithm to improve stability. Instead, we hypothesize that the geometrical properties of the local minima found for each task play an important role in the overall degree of forgetting. In particular, we study the effect of dropout, learning rate decay, and batch size, on forming training regimes that widen the tasks' local minima and consequently, on helping it not to forget catastrophically. Our study provides practical insights to improve stability via simple yet effective techniques that outperform alternative baselines.

연구 동기 및 목표

• 이전 작업 데이터에 접근할 수 없는 상태에서의 순차적 작업 학습에서 재잊힘을 조사한다.
• 손실 지형 분석을 통해 재잊힘과 국소 최소점의 기하학적 구조를 연결한다.
• 일반적인 학습 규칙들(드롭아웃, LR 감소, 작은 배치 크기)을 국소 최소점의 너비를 넓히고 안정성을 높이는 실용적인 도구로 평가한다.
• 표준 벤치마크에서 단순한 학습 규칙과 더 복잡한 지속 학습 방법을 비교한다.

제안 방법

• 두 작업 손실과 작업 최소점 주위의 2차 테일러 전개를 사용하여 재잊힘을 Hessian과 관련짓는다.
• 상한 F1 ≈ (1/2) Δw^T Hessian(w1*) Δw 를 이용해 재잊힘을 곡률 및 파라미터 변위와 연결한다.
• 가장 큰 해시안 고유값 λ1^max를 통해 실험적으로 Hessian 너비를 추정하여 재잊힘과의 관계를 평가한다.
• 드롭아웃, 학습률 스케줄, 작은 배치 크기를 실험하여 최소점을 넓히고 Δw를 줄이는 학습 규칙을 만든다.
• Rotated MNIST와 Permuted MNIST에서 학습 규칙을 평가하여 넓은/좁은 최소점 직관을 설명한다.
• MF 벤치마크에서 안정적 SGD를 플라스틱(Sgd naive) SGD 및 최신 지속 학습 방법과 비교한다.

실험 결과

연구 질문

• RQ1 시퀀스 태스크 학습에서 과제 최소점 주변의 손실 곡률이 재잊힘과 재잊힘에 어떻게 관련되는가?
• RQ2 최소점을 넓히는 학습 규칙 선택(예: 드롭아웃, 초기 학습률이 큰 상태에서의 감소, 작은 배치 크기)이 재잊힘을 감소시키는가?
• RQ3 단순한 최적화 기법이 표준 벤치마크에서 복잡한 지속 학습 방법을 능가할 수 있는가?
• RQ4 작업 간 Hessian 너비와 재잊힘 간의 경험적 관계는 무엇인가?

주요 결과

• 더 넓은 최소점(더 작은 Hessian 고유값)은 Rotated MNIST와 Permuted MNIST에서 재잊힘 감소와 상관관계가 있다.
• 드롭아웃, 초기 학습률이 크고 감소하는 경우 및 작은 배치 크기가 더 넓은 최소점을 유도하고 과제 간 파라미터 변위를 작게 한다.
• 안정적 SGD가 플라스틱 SGD보다 재잊힘을 더 줄이고 표준 벤치마크에서 일부 정규화 기반 및 기억 기반 지속 학습 방법보다 우수할 수 있다.
• 재잊힘 한계의 타이트함은 Hessian 스펙트럼에 대한 Δw 방향에 의존하며, 지형 기하학이 재잊힘에서의 역할을 강조한다.