[논문 리뷰] No Spurious Local Minima in Deep Quadratic Networks

Abbas Kazemipour, Brett W. Larsen외 1명|arXiv (Cornell University)|2019. 12. 31.

Stochastic Gradient Optimization Techniques참고 문헌 3인용 수 6

한 줄 요약

이 논문은 뉴런 수가 입력 차원 이상이고 훈련 샘플의 노름을 회귀자로 사용할 경우, 제곱 활성 함수를 갖는 깊이 있는 과다 파rameter화된 신경망이 제곱 손실 곡면에서 임의의 유사 국소 최솟값이 존재하지 않음을 증명한다. 이론적 분석은 모든 국소 최솟값이 전역 최솟값임을 보여주며, 실험 결과는 전역 최솟값으로의 수렴을 확인하여 데이터 분포에 관계없이 유리한 최적화 성질을 확립한다.

ABSTRACT

Despite their practical success, a theoretical understanding of the loss landscape of neural networks has proven challenging due to the high-dimensional, non-convex, and highly nonlinear structure of such models. In this paper, we characterize the training landscape of the quadratic loss landscape for neural networks with quadratic activation functions. We prove existence of spurious local minima and saddle points which can be escaped easily with probability one when the number of neurons is greater than or equal to the input dimension and the norm of the training samples is used as a regressor. We prove that deep overparameterized neural networks with quadratic activations benefit from similar nice landscape properties. Our theoretical results are independent of data distribution and fill the existing gap in theory for two-layer quadratic neural networks. Finally, we empirically demonstrate convergence to a global minimum for these problems.

연구 동기 및 목표

• 제곱 활성 함수를 갖는 깊이 있는 신경망의 손실 곡면을 이론적으로 특성화하는 것.
• 이러한 네트워크의 학습 동역학에서 유사 국소 최솟값이 존재하는지 조사하는 것.
• 모든 국소 최솟값이 전역 최솟값이 되는 조건을 설정하여 최적화 수렴을 보장하는 것.
• 이러한 유리한 곡면 성질이 데이터 분포에 관계없이 성립함을 보여주는 것.
• 이론적 조건 하에서 제곱 신경망에서 전역 최솟값으로의 수렴을 실험적으로 검증하는 것.

제안 방법

• 제곱 활성 함수를 사용한 깊이 있는 신경망의 제곱 손실 곡면을 분석하는 것.
• 뉴런 수가 입력 차원 이상일 경우 유사 국소 최솟값이 존재하지 않음을 증명하는 것.
• 유리한 최적화 성질을 보장하기 위해 훈련 샘플의 노름을 회귀자로 사용하는 것.
• 지정된 과다 파arameter화 조건 하에서 모든 국소 최솟값이 전역 최솟값임을 확립하는 것.
• 데이터 분포에 의존하지 않는 이론적 분석을 통해 다양한 데이터 설정에서의 일반화를 도모하는 것.
• 이론적 결과를 실험적 결과로 검증하여 전역 최솟값으로의 수렴을 보여주는 것.

실험 결과

연구 질문

• RQ1 깊이 있는 제곱 신경망의 학습 곡면에서 유사 국소 최솟값이 존재하는가?
• RQ2 과다 파arameter화된 제곱 네트워크에서 유사 국소 최솟값을 피할 수 있는 조건은 무엇인가?
• RQ3 유사 국소 최솟값의 부재는 데이터 분포에 관계없이 증명될 수 있는가?
• RQ4 훈련 샘플의 노름을 회귀자로 사용할 경우 손실 곡면에 어떤 영향을 미치는가?
• RQ5 이론적 조건 하에서 제곱 신경망에서 전역 수렴을 실험적으로 관찰할 수 있는가?

주요 결과

• 뉴런 수가 입력 차원 이상일 경우, 과다 파arameter화된 제곱 신경망에서 유사 국소 최솟값이 존재하지 않는다.
• 지정된 과다 파arameter화 조건과 회귀자 조건 하에서 제곱 손실 곡면의 모든 국소 최솟값은 전역 최솟값이다.
• 이론적 결과는 기초 데이터 분포에 의존하지 않아 일반화 능력이 향상된다.
• 안장점은 존재하지만 확률 1로 회피 가능하므로 효율적인 최적화를 지원한다.
• 실험 결과는 이러한 네트워크 학습에서 전역 최솟값으로의 수렴을 확인한다.
• 제곱 활성 함수의 구조와 과다 파arameter화 덕분에 유리한 곡면 성질이 유지된다.