[논문 리뷰] No Spurious Local Minima: on the Optimization Landscapes of Wide and Deep Neural Networks

Johannes Lederer|arXiv (Cornell University)|2021. 05. 04.

Machine Learning and Algorithms참고 문헌 35인용 수 8

한 줄 요약

이 논문은 넓은 신경망—제약이 있는 경우와 없는 경우 모두—최적화 경관에서 임의의 유사 국소 최소값이 없음을 증명한다. 즉, 모든 국소 최소값이 전역 최소값임을 의미한다. 이론적 분석은 네트워크의 넓이를 증가시킬수록 열악한 국소 최소값이 제거됨을 보여주며, 넓은 신경망이 왜 실무적으로 최적화가 더 쉬운지 설명한다.

ABSTRACT

Empirical studies suggest that wide neural networks are comparably easy to optimize, but mathematical support for this observation is scarce. In this paper, we analyze the optimization landscapes of deep learning with wide networks. We prove especially that constraint and unconstraint empirical-risk minimization over such networks has no spurious local minima. Hence, our theories substantiate the common belief that increasing network widths not only improves the expressiveness of deep-learning pipelines but also facilitates their optimizations.

연구 동기 및 목표

• 넓은 신경망이 최적화가 더 쉽다는 경험적 관찰을 수학적으로 정당화하기 위해.
• 제약이 없는 경우와 제약이 있는 경우 모두에서 넓은 딥 신경망의 최적화 경관을 분석하기 위해.
• 넓은 네트워크의 모든 국소 최소값이 전역 최소값임을 입증하여 유사 해결책을 제거하기 위해.
• 넓이가 모델 표현력 초월하여 최적화 역학을 향상시키는 데 이론적 근거를 제공하기 위해.

제안 방법

• 비볼록 최적화와 행렬 분석의 이론적 도구를 사용하여 넓은 신경망의 최적화 경관을 분석하기 위해.
• 충분히 넓은 네트워크에서는 임의의 국소 최소값이 전역 최소값임을 증명하기 위해.
• 규칙화 및 제약 조건이 있는 훈련을 포함한 제약이 없는 경우와 제약이 있는 최적화 설정으로 분석을 확장하기 위해.
• 넓은 네트워크의 파arameterization 성질과 기울기 역학을 활용하여, 비영인 헤시안 고유값을 가진 임계점은 국소 최소값일 수 없음을 보여주기 위해.
• 넓은 완전 연결 네트워크의 구조를 활용하여, 넓이 제약 조건 하에서 임계점에서의 헤시안이 항상 준정부호임을 보여주기 위해.
• 랜덤 행렬 이론과 평균장 근사 결과를 적용하여 넓은 네트워크에서 기울기와 헤시안의 행동을 특성화하기 위해.

실험 결과

연구 질문

• RQ1 넓은 신경망은 최적화 경관에서 유사 국소 최소값을 가지는가?
• RQ2 제약이 없는 경우와 제약이 있는 경우 모두에서 넓은 네트워크의 모든 국소 최소값이 전역 최소값임을 증명할 수 있는가?
• RQ3 네트워크의 넓이가 딥러닝 최적화에서 열악한 국소 최소값을 어떻게 제거하는가?
• RQ4 넓이를 증가시킬 때 최적화 성질이 향상되는 데 이론적 조건은 무엇인가?

주요 결과

• 넓은 신경망의 모든 국소 최소값은 전역 최소값이며, 최적화 경관에 유사 국소 최소값이 존재하지 않는다.
• 이 결과는 제약이 없는 경우와 제약이 있는 경우 모두 성립한다.
• 유사 국소 최소값의 부재는 깊이나 아키텍처보다 네트워크의 넓이에 기인한다.
• 이론적 분석은 넓이가 모델 표현력 뿐 아니라, 열악한 임계점들을 제거함으로써 최적화를 단순화시킴을 확인한다.
• 이러한 발견은 실무에서 넓은 신경망의 경험적 성공에 대한 엄밀한 수학적 기반을 제공한다.
• 넓은 네트워크의 최적화 경관은 전역적으로 잘 조율되어 있으며, 모든 임계점은 전역 최소값이거나 안장점이다.