[논문 리뷰] The Loss Surfaces of Multilayer Networks

Anna Choromanska, Mikael Henaff외 3명|arXiv (Cornell University)|2014. 11. 30.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 716

한 줄 요약

이 논문은 가중치 독립성, 부여성, 균일성의 가정 하에, 대규모 완전 연결 피드포워드 신경망의 손실 표면과 구면 스핀거스 모델의 해밀토니안 사이의 이론적 연관성을 수립한다. 랜덤 행렬 이론을 사용하여, 큰 네트워크에서는 가장 낮은 임계점들이 전역 최소값 근처에 매우 좁은 밴드를 이룬다는 것을 보여주며, 대부분의 국소 최소값이 높은 테스트 성능을 보이고, 열악한 최소값을 찾는 확률이 크기와 함께 지수적으로 감소함을 밝혀내었다—이는 비볼록성에도 불구하고 SGD가 신뢰성 있게 좋은 해를 찾는 이유를 설명한다.

ABSTRACT

We study the connection between the highly non-convex loss function of a simple model of the fully-connected feed-forward neural network and the Hamiltonian of the spherical spin-glass model under the assumptions of: i) variable independence, ii) redundancy in network parametrization, and iii) uniformity. These assumptions enable us to explain the complexity of the fully decoupled neural network through the prism of the results from random matrix theory. We show that for large-size decoupled networks the lowest critical values of the random loss function form a layered structure and they are located in a well-defined band lower-bounded by the global minimum. The number of local minima outside that band diminishes exponentially with the size of the network. We empirically verify that the mathematical model exhibits similar behavior as the computer simulations, despite the presence of high dependencies in real networks. We conjecture that both simulated annealing and SGD converge to the band of low critical points, and that all critical points found there are local minima of high quality measured by the test error. This emphasizes a major difference between large- and small-size networks where for the latter poor quality local minima have non-zero probability of being recovered. Finally, we prove that recovering the global minimum becomes harder as the network size increases and that it is in practice irrelevant as global minimum often leads to overfitting.

연구 동기 및 목표

• 비볼록성에도 불구하고 깊은 신경망에서 확률적 경사하강법(SGD)이 일관되게 높은 성능의 해를 찾는 이유를 설명하기 위해.
• 대규모 완전 연결 신경망에서 임계점(최소값, 안장점)의 분포와 품질을 조사하기 위해.
• 전역 최소값이 실제로 유의미한지, 아니면 일반화를 위해 좋은 국소 최소값만으로도 충분한지 판단하기 위해.
• 네트워크 크기가 증가함에 따라 훈련 오차와 테스트 오차 간의 관계를 분석하기 위해.

제안 방법

• 가중치 값에 따라 활성화되거나 비활성화되는 단항식을 포함하는 구면 위의 고차 다항식으로 완전히 분리된 ReLU 네트워크의 손실 함수를 모델링한다.
• 랜덤 행렬 이론을 적용하여 이 다항식의 임계점을 분석하고, 구면 스핀거스 모델과 유사성을 도출한다.
• 이론적 분석을 통해 큰 네트워크에서는 임계점들이 에너지가 낮은 밴드를 이루는 층상 구조를 형성함을 보여준다.
• 이론적 및 실험적 척도 법칙(예: 지수 거듭제곱 법칙)을 사용하여 다양한 네트워크 크기 간의 손실 값을 스케일링하여 결과를 비교한다.
• 모의 냉각과 SGD를 실험적으로 비교하여, 높은 색인의 안장점에 갇히는 것이 문제인지 평가한다.
• 정규화된 색인(헤시안 고유값 중 음수의 비율)과 훈련 오차 및 테스트 오차 간 상관관계를 계산하여 해의 품질과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 대규모 신경망의 임계점은 전역 최소값 근처에 구조화되고 에너지가 낮은 밴드를 형성하는가?
• RQ2 네트워크 크기가 증가함에 따라 열악한 국소 최소값을 찾는 확률은 어떻게 변화하는가?
• RQ3 전역 최소값은 실질적으로 유용한가, 아니면 좋은 국소 최소값만으로도 일반화가 충분한가?
• RQ4 네트워크 크기가 증가함에 따라 훈련 오차와 테스트 오차 간 상관관계는 어떻게 변화하는가?
• RQ5 SGD가 모의 냉각과 비슷한 성능을 보여, 안장점에 갇히는 것이 주요 문제로 작용하지 않는가?

주요 결과

• 큰 네트워크에서는 가장 낮은 임계점들이 전역 최소값 근처에 매우 좁은 밴드를 이룬다. 대부분의 국소 최소값은 높은 테스트 성능을 보인다.
• 열악한 국소 최소값을 찾는 확률은 네트워크 크기와 함께 지수적으로 감소하여, 큰 네트워크에서는 무시할 수 없을 정도로 낮아진다.
• 훈련 오차와 테스트 오차 간 상관관계는 네트워크 크기가 증가함에 따라 감소하며, 이는 훈련 오차가 최소화되지 않더라도 좋은 일반화가 달성된다는 것을 시사한다.
• SGD는 모의 냉각과 비슷한 성능을 보이며, 이는 높은 색인의 안장점에 갇히는 것이 실질적으로 큰 문제로 작용하지 않는다는 것을 시사한다.
• 전역 최소값은 회복하기 어려우며 일반화를 위해 자주 과적합을 유도하므로 실질적으로 관련이 없다.
• 실험 결과는 이론 모델의 행동이 실질적인 네트워크에서 강한 변수 의존성에도 불구하고 시뮬레이션과 매우 유사하게 일치함을 확인한다.