[논문 리뷰] Linear Mode Connectivity and the Lottery Ticket Hypothesis

Jonathan Frankle, Gintare Karolina Dziugaite외 2명|arXiv (Cornell University)|2019. 12. 11.

Advanced Neural Network Applications참고 문헌 34인용 수 100

한 줄 요약

이 논문은 SGD 노이즈 민감도에 대한 불안정성 분석을 도입하여, 훈련 초기에는 네트워크가 SGD 노이즈에 대해 안정적이 된다고 보여주고, 이는 선형 모드 연결성으로 이어지며, 이를 이용해 반복적 크기 가지치기(IMP)가 매칭 서브네트워크를 산출하는 시점을 설명합니다.

ABSTRACT

We study whether a neural network optimizes to the same, linearly connected minimum under different samples of SGD noise (e.g., random data order and augmentation). We find that standard vision models become stable to SGD noise in this way early in training. From then on, the outcome of optimization is determined to a linearly connected region. We use this technique to study iterative magnitude pruning (IMP), the procedure used by work on the lottery ticket hypothesis to identify subnetworks that could have trained in isolation to full accuracy. We find that these subnetworks only reach full accuracy when they are stable to SGD noise, which either occurs at initialization for small-scale settings (MNIST) or early in training for large-scale settings (ResNet-50 and Inception-v3 on ImageNet).

연구 동기 및 목표

• SGD 노이즈가 실행 간 신경망 최적화 결과에 미치는 영향을 평가
• 다른 SGD 노이즈 샘플이 같은 (선형적으로 연결된) 최소점에 도달하는지 결정
• 불안정성 분석을 사용해 반복적 크기 가지치기(IMP)와 로토리 티켓의 결과를 평가
• 중간 훈련 상태로 되감아 매칭 서브네트워크를 찾기 위해 IMP를 일반화하기
• 대규모 모델의 가지치기 시점과 최적화 동역학에 대한 실용적 통찰 제공

제안 방법

• 다른 SGD 노이즈로 두 개의 복사본을 훈련시키고 삽입 보간 오차를 측정하여 불안정성 분석을 정의
• 두 훈련된 네트워크 사이의 선형 경로에서의 최대 장벽으로 선형 보간 불안정성을 정량화
• 0-2%의 불안정성 임계치를 통해 선형 모드 연결성을 선언하여 안정성을 평가
• MNIST, CIFAR-10, ImageNet의 네트워크에 대해 초기화 및 다양한 훈련 단계에서 불안정성 분석 적용
• k단계로 되감고 잘라내어 매칭 서브네트워크를 얻어 IMP 확장
• IMP 서브네트워크의 희소성 구간을 분석하여 매칭 및 안정성을 보이는 구간을 분류

실험 결과

연구 질문

• RQ1 표준 네트워크에서 SGD 노이즈가 실행 간 서로 다른 최소점을 만들어내는가, 아니면 서로 선형적으로 연결된 단일 최소점으로 수렴하는가?
• RQ2 네트워크가 SGD 노 noise에 대해 안정해지는 훈련 단계는 언제이며, 이것이 IMP 결과에 영향을 미치는가?
• RQ3 안정할 때만 IMP 서브네트넷이 매칭되는가, 그리고 되감기를 통해 더 큰 규모에서 매칭 서브네트넷을 드러낼 수 있는가?

주요 결과

• 초기에는 대부분의 네트워크가 SGD 노이즈에 불안정하지만, 연구된 모든 네트워크에서 훈련 초기에 안정성이 나타난다
• 소량의 학습 이후(예: ResNet-20: 약 3%, VGG-16: 약 1.5%, ResNet-50: 20%, Inception-v3: 16%), 네트워크가 SGD 노이즈에 안정되고 최소점이 선형으로 연결된다
• IMP 서브네트워크는 SGD 노이즈에 안정될 때만 매칭되며, 작은 과제의 초기화 시점에서도 또는 대규모에서 초기 학습 중 안정화가 가능하다
• 중간 학습 단계로 되감겨도 IMP 서브네트워크가 네트워크 전체보다 더 빨리 안정되고 매칭될 수 있어, 더 큰 모델에서 비자명한 희소도에서도 매칭을 가능하게 한다
• 안정 시작 시점은 아키텍처 및 작업에 따라 다르며, 대규모 모델은 안정성에 도달하는 데 더 많은 학습이 필요하지만 안정될 때 매칭 서브네트워크를 달성한다
• IMP 서브네트워크는 희소도 범위에 따라 트리비얼, IMP-전용, 비매칭의 세 가지 패턴과 정합하여 안정성과 매칭을 보인다