[논문 리뷰] Landscape Connectivity and Dropout Stability of SGD Solutions for Over-parameterized Neural Networks

Alexander P. Shevchenko, Marco Mondelli|arXiv (Cornell University)|2019. 12. 20.

Stochastic Gradient Optimization Techniques참고 문헌 59인용 수 6

한 줄 요약

이 논문은 SGD로 훈련된 과도하게 파rameter화된 신경망이 근사적인 랜드스케이프 연결성과 드롭아웃 안정성을 보임을 입증한다. 뉴런 수가 증가함에 따라 SGD 해는 뉴런 제거(드롭아웃)에 점점 더 강건해지며, 이러한 해들 간에는 손실 증가가 渐진적으로 사라지는 조각별 선형 경로로 연결될 수 있다. 이는 과도하게 파rameter화된 모델에 유리한 최적화 랜드스케이프를 의미한다.

ABSTRACT

The optimization of multilayer neural networks typically leads to a solution with zero training error, yet the landscape can exhibit spurious local minima and the minima can be disconnected. In this paper, we shed light on this phenomenon: we show that the combination of stochastic gradient descent (SGD) and over-parameterization makes the landscape of multilayer neural networks approximately connected and thus more favorable to optimization. More specifically, we prove that SGD solutions are connected via a piecewise linear path, and the increase in loss along this path vanishes as the number of neurons grows large. This result is a consequence of the fact that the parameters found by SGD are increasingly dropout stable as the network becomes wider. We show that, if we remove part of the neurons (and suitably rescale the remaining ones), the change in loss is independent of the total number of neurons, and it depends only on how many neurons are left. Our results exhibit a mild dependence on the input dimension: they are dimension-free for two-layer networks and depend linearly on the dimension for multilayer networks. We validate our theoretical findings with numerical experiments for different architectures and classification tasks.

연구 동기 및 목표

• 비볼록 랜드스케이프와 유령 최소값이 존재하는 상황에서도 SGD가 과도하게 파arameter화된 신경망을 성공적으로 최적화하는 이유를 이해하기 위해.
• SGD가 찾은 최소값들이 낮은 손실 경로로 근사적으로 연결되어 있다는 경험적 관찰을 설명하기 위해.
• 드롭아웃 안정성과 랜드스케이프 연결성을 통해 넓은 네트워크의 향상된 최적화 행동을 이론적으로 정당화하기 위해.
• 손실 변화가 네트워크 폭, 입력 차원, 드롭아웃 패턴 크기에 어떻게 의존하는지 정량화하기 위해.

제안 방법

• N개의 뉴런을 가진 두 층의 ReLU 네트워크를 분석하고, SGD 동역학의 평균장 근사를 사용하여 뉴런 제거 후 손실 변화의 경계를 유도한다.
• 두 층의 네트워크에서 N−M개의 뉴런을 제거한 후의 손실 변화가 O(√(log M / M))로 스케일링되며, 이는 N과 입력 차원 d에 관계없이 독립적임을 증명한다.
• 두 개의 SGD 해를 연결하는 조각별 선형 경로를 구성하고, N이 증가함에 따라 손실 증가가 O(√(log N / N)) 이하로 유계임을 보인다.
• 다중층 네트워크(L+1 ≥ 4층)로 결과를 확장하여, 드롭아웃 후 손실 변화가 O(√((d + log M)/M))로 스케일링되며, 랜드스케이프 연결성의 손실 증가는 O(√((d + log N)/N))로 스케일링됨을 보인다.
• 출력층의 볼록성과 보간 기법을 사용하여 두 해 사이의 경로에서 손실이 유계로 유지됨을 확보한다.
• 일회성 SGD와 경로 기반 손실 평가를 사용하여 등방성 가우시안, MNIST, CIFAR-10에서 이론적 결과를 경험적으로 검증한다.

실험 결과

연구 질문

• RQ1 과도하게 파arameter화된 네트워크에서 SGD 훈련된 신경망의 손실 랜드스케이프 연결성은 어떻게 영향을 받는가?
• RQ2 SGD 해는 뉴런 드롭아웃에 얼마나 안정적인가? 이 안정성은 네트워크 폭에 따라 어떻게 스케일링되는가?
• RQ3 남은 뉴런 수와 입력 차원에 따라 드롭아웃 후 손실 변화는 어떻게 의존하는가?
• RQ4 SGD 해들은 낮은 손실 경로로 연결될 수 있는가? 이 경로의 손실 증가는 네트워크 폭에 따라 어떻게 스케일링되는가?

주요 결과

• 두 층의 네트워크에서 N−M개의 뉴런을 제거한 후의 손실 변화는 O(√(log M / M))로 스케일링되며, 이는 N과 d에 관계없이 독립적이므로 강력한 드롭아웃 안정성을 나타낸다.
• 두 SGD 해를 연결하는 조각별 선형 경로의 손실 증가는 O(√(log N / N)) 이하로 유계이며, N이 증가함에 따라 사라지므로 근사적인 랜드스케이프 연결성을 의미한다.
• L+1 ≥ 4층의 다중층 네트워크에서는 드롭아웃 후 손실 변화가 O(√((d + log M)/M))로 스케일링되며, 입력 차원 d에 대한 의존성은 선형적이다.
• 다중층 네트워크의 랜드스케이프 연결성 손실 증가는 O(√((d + log N)/N))로 스케일링되며, N ≫ d일 경우 사라진다.
• 수치 실험 결과, 중간 폭(예: N=800)에서도 드롭아웃 성능이 전체 네트워크 성능에 가까워지며, 분류 오차는 0.4% 미만임을 확인하였다.
• 경험적 경로 평가 결과, 서로 다른 SGD 해를 연결하는 조각별 선형 경로에서 손실 증가가 최소한으로 유지되어 이론적 연결성 경계가 검증되었다.