[논문 리뷰] The Role of Permutation Invariance in Linear Mode Connectivity of Neural Networks

Rahim Entezari, Hanie Sedghi외 2명|arXiv (Cornell University)|2021. 10. 12.

Stochastic Gradient Optimization Techniques인용 수 14

한 줄 요약

이 논문은 신경망에서 순열 불변성(permutation invariance)이 SGD 해들 사이의 선형 보간에서 장벽을 제거함으로써, 매개변수 순열을 고려할 경우 선형 모드 연결성(linear mode connectivity, LMC)을 가능하게 한다고 제안한다. 넓은 하나의 은닉층을 가진 네트워크에 대한 광범위한 실험과 이론적 분석은 추측을 뒷받침하며, 순열을 적용한 해들이 거의 영 loss 장벽을 보임을 보여주며, 로또 티켓, 분산 학습, 앙상블 방법 등에 대한 함의를 제시한다.

ABSTRACT

In this paper, we conjecture that if the permutation invariance of neural networks is taken into account, SGD solutions will likely have no barrier in the linear interpolation between them. Although it is a bold conjecture, we show how extensive empirical attempts fall short of refuting it. We further provide a preliminary theoretical result to support our conjecture. Our conjecture has implications for lottery ticket hypothesis, distributed training, and ensemble methods.

연구 동기 및 목표

• 순열 불변성이 학습된 신경망 해들 사이의 선형 보간에서 손실 장벽을 제거할 수 있는지 조사하는 것.
• 가중치 순열과 같은 불변성이 손실 곡면의 기하학적 구조와 모드 연결성에 어떻게 영향을 미치는지 이해하는 것.
• 순열 불변성 하에서 SGD 해들이 손실 장벽 없이 선형으로 연결된다는 추측에 대해 이론적 및 실증적 근거를 제공하는 것.
• 로또 티켓 가설, 분산 학습, 앙상블 방법 등에 대한 실용적 함의를 탐색하는 것.

제안 방법

• 순열 불변성을 고려할 경우 SGD 해들이 손실 장벽 없이 선형으로 연결된다는 추측을 제안하는 것.
• 두 개의 학습된 모델 사이의 손실 장벽을 최소화하기 위해 네트워크 가중치의 최적 순열을 찾기 위해 시뮬레이티드 앤날링(SA)을 사용하는 것.
• 선형 보간을 통해 학습된 네트워크 쌍 사이의 직접적 및 간접적 장벽을 MNIST, CIFAR-10 등에서 순열 적용 전후로 평가하는 것.
• 다양한 아키텍처(MLP, CNN, VGG, ResNet), 데이터셋(MNIST, SVHN, CIFAR-10, CIFAR-100), 넓이 및 깊이에 걸쳐 광범위한 실증 평가를 수행하는 것.
• 랜덤 초기화 하에서 넓은 하나의 은닉층을 가진 완전 연결 네트워크에 대해 추측이 참임을 이론적으로 증명하는 것.
• 실제 SGD 해들과 단일 SGD 해 또는 초기화를 순열하여 생성한 합성 모델을 비교하는 것.

실험 결과

연구 질문

• RQ1 학습된 신경망에서 순열 불변성을 고려할 경우, SGD 해들 사이의 선형 보간에서 손실 장벽이 제거되는가?
• RQ2 시뮬레이티드 앤날링을 통해 가중치를 순열함으로써 두 학습된 네트워크 사이의 손실 장벽을 얼마나 줄이거나 제거할 수 있는가?
• RQ3 순열을 적용했을 때 네트워크의 넓이, 깊이, 데이터셋의 복잡도에 따라 장벽 크기는 어떻게 변하는가?
• RQ4 실제 SGD 해의 손실 장벽과 단일 초기화를 순열하여 생성한 합성 모델 간에 일관된 관계가 존재하는가?
• RQ5 넓고 하나의 은닉층을 가진 네트워크에 대해 순열 불변성 기반의 선형 모드 연결성 추측을 이론적으로 정당화할 수 있는가?

주요 결과

• 3,000개 이상의 학습된 네트워크에 걸친 광범위한 실증 평가 결과, 최적의 순열을 적용한 후 SGD 해들 사이의 손실 장벽이 일관되게 감소하며, 거의 영으로 수렴하는 경향을 보였다.
• 넓고 하나의 은닉층을 가진 MLP에 대해 이론적 분석은 순열 불변성 하에서 선형 모드 연결성이 성립함을 확인하며, 이는 추측을 뒷받침한다.
• 시뮬레이티드 앤날링은 여러 구성에서 두 네트워크 사이의 간접적 장벽을 거의 영으로 줄이는 순열을 성공적으로 찾았다. 예를 들어, 넓이 ≥ 2^6, 깊이 1인 MNIST의 MLP와 넓이 2^10인 SVHN의 Shallow-CNN에서 성공했다.
• 간단한 작업(MNIST, SVHN)의 경우 넓이와 깊이가 증가할수록 테스트 세트의 장벽 크기가 크게 감소하는 반면, 더 어려운 작업(CIFAR-100)의 경우도 유사한 경향을 보이며 더 낮은 장벽을 보였다.
• 아키텍처와 데이터셋에 걸쳐 장벽 감소가 일관되게 관찰됨에 따라, 순열 불변성이 손실 곡면 기하학을 상당히 단순화시킨다.
• 합성 모델(단일 초기화를 순열하여 생성된 해들)은 실제 SGD 해에서 관찰된 장벽 행동을 밀도 있게 재현하며, 이는 추측의 타당성을 뒷받침한다.