[논문 리뷰] Essentially No Barriers in Neural Network Energy Landscape

Felix Draxler, Kambis Veschgini외 2명|arXiv (Cornell University)|2018. 03. 02.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 131

한 줄 요약

본 논문은 CIFAR10/100에서 현대 신경망의 최소값이 사실상 평탄한 경로로 연결되어 있으며 중요한 에너지 장벽이 없음을 보여주며, 최소값이 단일 연결된 저손실 매니폴드를 형성한다는 것을 시사한다.

ABSTRACT

Training neural networks involves finding minima of a high-dimensional non-convex loss function. Knowledge of the structure of this energy landscape is sparse. Relaxing from linear interpolations, we construct continuous paths between minima of recent neural network architectures on CIFAR10 and CIFAR100. Surprisingly, the paths are essentially flat in both the training and test landscapes. This implies that neural networks have enough capacity for structural changes, or that these changes are small between minima. Also, each minimum has at least one vanishing Hessian eigenvalue in addition to those resulting from trivial invariance.

연구 동기 및 목표

• 뉴럴 네트워크 손실 최소값이 고립된 점이 아닌 연결된 저손실 매니폴드를 형성한다는 것을 제안한다.
• 아키텍처 전반의 최소값 사이의 최소 에너지 경로를 찾기 위한 방법을 개발하고 적용한다.
• CIFAR10 및 CIFAR100의 최첨단 네트워크에서 최소값 사이 경로를 따라 있는 장벽을 정량화한다.
• 관찰된 경로 연결성과 낮은 장벽에 대한 질적 설명과 실증적 증거를 제공한다.

제안 방법

• 두 최소값 사이의 최소 에너지 경로(MEP)를 경로상 최대 손실을 최소화하는 경로로 정의한다.
• 네뉘드 엘라스틱 밴드(NEB) 방법을 신경망 손실 지형에 적용하고 확장하여 경로를 낮은 장벽 궤도로 변형시킨다.
• 손실이 큰 지점에 추가 피벗을 두고 경로를 반복적으로 샘플링하고 다듬기 위해 자동 Nudged Elastic Band(AutoNEB)을 사용한다.
• CIFAR10/100에서 아키텍처 간 다수의 최소값(CNNs, ResNets, DenseNets)을 연결하고 경로를 따라 있는 새들 포인트를 평가한다.
• 모든 쌍 사이의 새들 에너지의 상한을 요약하기 위해 최소 신장 트리(minimum spanning tree)를 최소값들 위에 구성한다.
• MEPs를 따라 네트워크 매개변수의 궤도에 대한 질적 및 정량적 분석을 제공한다.

실험 결과

연구 질문

• RQ1 현대 신경망의 최소값이 고립된 베이스에 놓여 있나, 아니면 저손실 경로로 연결될 수 있는가?
• RQ2 NEB/AutoNEB가 아키텍처 간 독립적인 최소값을 연결하는 최소 에너지 경로를 밝혀낼 수 있는가?
• RQ3 이 경로를 따라 있는 새들 포인트의 에너지가 훈련 및 테스트 세트의 최소값 손실과 어떻게 비교되는가?
• RQ4 CIFAR 데이터셋에서 깊이와 너비를 증가시키면 최소값 사이의 장벽 높이가 감소하는가?
• RQ5 관찰된 경로 연결성을 설명하는 데 도움이 되는 물리화학에서 영감을 받은 통찰(예: 회복력, 중복성)은 무엇인가?

주요 결과

• 독립적으로 학습된 최소값들 사이에 경로가 연속적으로 존재하며 경로를 따라 훈련 손실이 본질적으로 최소값과 가까운 값을 유지한다.
• 이 경로들에서의 테스트 손실은 본질적으로 일정하게 유지되며 테스트 오차는 약간만 증가한다.
• 아키텍처가 더 깊고 넓어질수록 최소값 사이의 장벽이 감소하며, CIFAR10/100에서 깊은 ResNet과 DenseNet의 경우 장벽이 거의 사라진다.
• 지역 최소 에너지 경로(MEPs)는 매개변수 궤도가 매끄럽고 사다점 근처에서 특히 선형 보간에 비해 약간만 편차를 보인다.
• AutoNEB은 낮은 장벽 경로 구성을 가능하게 하며 최소값의 최소 신장 트리를 통한 새들 에너지의 상한을 제공한다.
• 본 연구는 최소값들이 고립된 골짜기보다 단일 연결된 저손실 매니폴드 위에 놓여 있음을 시사한다.