[논문 리뷰] Linear Mode Connectivity in Multitask and Continual Learning

Seyed Iman Mirzadeh, Mehrdad Farajtabar외 3명|arXiv (Cornell University)|2020. 10. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 68인용 수 13

한 줄 요약

이 논문은 딥 네ural 네트워크에서 지속적 학습(CL)과 다중태스크 학습(MTL) 솔루션 간의 기하학적 관계를 조사한다. 동일하게 초기화된 경우, MTL 솔루션과 순차적으로 학습된 CL 솔루션 간에 낮은 손실을 가진 선형 경로로 연결됨을 발견한다. 이 선형 모드 연결성은 최소 손실 경로를 따라 최적화를 제약하는 새로운 알고리즘인 MC-SGD를 가능하게 하며, 이는 시각 벤치마크에서 최신 CL 방법들을 능가하는 성능을 보인다.

ABSTRACT

Continual (sequential) training and multitask (simultaneous) training are often attempting to solve the same overall objective: to find a solution that performs well on all considered tasks. The main difference is in the training regimes, where continual learning can only have access to one task at a time, which for neural networks typically leads to catastrophic forgetting. That is, the solution found for a subsequent task does not perform well on the previous ones anymore. However, the relationship between the different minima that the two training regimes arrive at is not well understood. What sets them apart? Is there a local structure that could explain the difference in performance achieved by the two different schemes? Motivated by recent work showing that different minima of the same task are typically connected by very simple curves of low error, we investigate whether multitask and continual solutions are similarly connected. We empirically find that indeed such connectivity can be reliably achieved and, more interestingly, it can be done by a linear path, conditioned on having the same initialization for both. We thoroughly analyze this observation and discuss its significance for the continual learning process. Furthermore, we exploit this finding to propose an effective algorithm that constrains the sequentially learned minima to behave as the multitask solution. We show that our method outperforms several state of the art continual learning algorithms on various vision benchmarks.

연구 동기 및 목표

• 지속적 학습(CL)과 다중태스크 학습(MTL)이 찾는 솔루션 간의 기하학적 관계, 특히 손실 표면의 구조적 특성에 대해 이해하는 것.
• CL과 MTL 솔루션이 낮은 손실 경로로 연결되어 있는지, 그리고 그러한 경로의 가장 단순한 형태는 무엇인지 조사하는 것.
• 유사도 측정 지표인 유클리드 거리 또는 CKA와 같은 전통적 지표들이 CL과 MTL 솔루션을 비교하는 데 의미 있는지 평가하는 것.
• 선형 모드 연결성을 활용하여 치명적 잊음 문제를 완화하는 새로운 지속적 학습 알고리즘을 개발하는 것.
• 다양한 작업과 다양한 시각 벤치마크에서 선형 연결성의 강건성을 실증적으로 검증하는 것.

제안 방법

• 저자들은 동일한 초기화 조건 하에서 CL과 MTL 솔루션을 비교하며, 둘 다 동일한 가중치에서 시작하고, 동일한 작업들을 다른 순서로 학습한다.
• 경로의 연결성을 평가하기 위해 MTL 솔루션과 각 CL 솔루션 사이를 선형으로 보간하고, 경로를 따라 손실를 측정하여 낮은 오차를 확인한다.
• 새로운 알고리즘인 모드 연결SGD(MC-SGD)를 제안하며, 이는 최적화 경로가 MTL 솔루션과 현재 CL 솔루션 사이의 최소 손실 선형 경로 내에 머무르도록 제약한다.
• 이 방법은 순차적 학습 중에 MTL 솔루션과 CL 솔루션 사이의 선형 보간 경로에 가까이 머무르도록 유도하는 손실 정규화 항을 사용한다.
• 실험은 50개의 작업까지 포함한 돌린 MNIST, 분할된 CIFAR-100, 와 뒤집힌 MNIST에서 수행되며, 표준 벤치마크와 다수의 랜덤 시드를 사용한 재현 가능한 실행을 실시한다.
• MC-SGD의 성능은 경험 재생, 정규화, 분산 기반의 최신 CL 기준 모델들과 비교된다.

실험 결과

연구 질문

• RQ1 지속적 학습과 다중태스크 학습이 찾는 솔루션이 손실 표면에서 낮은 손실 경로로 연결되어 있는가?
• RQ2 그러한 경로가 존재한다면, 그 경로는 선형이며, 어떤 조건에서 보장되는가?
• RQ3 CL과 MTL 솔루션 간의 선형 모드 연결성을 활용하여 지속적 학습 성능을 향상시킬 수 있는가?
• RQ4 유럽 거리나 CKA와 같은 전통적 지표들이 CL과 MTL 솔루션 간의 관계를 정확히 반영하는가?
• RQ5 선형 연결성은 증가하는 작업 수와 다양한 데이터셋에서 얼마나 강건한가?

주요 결과

• 동일한 초기화 조건에서 MTL 솔루션과 CL 솔루션은 20개 이상의 작업을 거쳐도 낮은 손실을 가지는 선형 경로로 신뢰성 있게 연결되어 있다.
• 솔루션이 서로 다른 방식으로 초기화되면 선형 연결성이 관찰되지 않으며, 이는 공통 초기화의 중요성을 강조한다.
• 전통적 지표인 ℓ₂ 거리와 CKA는 CL과 MTL 솔루션 간의 진정한 관계를 포착하지 못하며, 성능 차이를 반영하지 못한다.
• 선형 연결성을 강제하는 MC-SGD는 돌린 MNIST, 분할된 CIFAR-100, 50개의 작업을 포함한 뒤집힌 MNIST에서 최신 기준 성능을 달성한다.
• 모든 벤치마크와 다수의 랜덤 시드에서 경험 재생 및 정규화 기반 접근 방식을 포함한 기존 CL 기준 모델들을 일관되게 능가한다.
• MTL와 CL 솔루션 사이의 선형 보간 경로는 손실이 감소하지 않음을 확인하며, 두 솔루션 유형을 연결하는 낮은 손실의 다양체가 존재함을 확인한다.