[논문 리뷰] Critical Points of Linear Neural Networks: Analytical Forms and Landscape Properties

Yi Zhou, Yingbin Liang|arXiv (Cornell University)|2018. 02. 15.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 43

한 줄 요약

이 논문은 정사각형 손실을 가진 선형 신경망에서 임계점과 전역 최소화자의 완전한 분석적 특성화를 제공하며, 비잔영 국소 최소값이 존재하지 않음을 증명한다. 또한 일중간층 ReLU 신경망은 전역 최소값이 아닌 비잔영 국소 최소값을 가질 수 있음을 보여주며, 선형 및 비선형 얕은 신경망 간 최적화 지형의 근본적인 차이를 드러낸다.

ABSTRACT

Due to the success of deep learning to solving a variety of challenging machine learning tasks, there is a rising interest in understanding loss functions for training neural networks from a theoretical aspect. Particularly, the properties of critical points and the landscape around them are of importance to determine the convergence performance of optimization algorithms. In this paper, we provide a necessary and sufficient characterization of the analytical forms for the critical points (as well as global minimizers) of the square loss functions for linear neural networks. We show that the analytical forms of the critical points characterize the values of the corresponding loss functions as well as the necessary and sufficient conditions to achieve global minimum. Furthermore, we exploit the analytical forms of the critical points to characterize the landscape properties for the loss functions of linear neural networks and shallow ReLU networks. One particular conclusion is that: While the loss function of linear networks has no spurious local minimum, the loss function of one-hidden-layer nonlinear networks with ReLU activation function does have local minimum that is not global minimum.

연구 동기 및 목표

• 정사각형 손실을 가진 선형 신경망에서 임계점과 전역 최소화자의 분석적 특성화를 목적으로 한다.
• 선형 신경망에서 전역 최소값을 달성하기 위한 필수 및 필요조건을 규명한다.
• 선형 및 얕은 ReLU 신경망에서 손실 함수의 지형 특성을 조사한다.
• 다양한 신경망 아키텍처에서 비잔영 국소 최소값이 존재하는지 명확히 한다.

제안 방법

• 행렬 미적분학과 특이값 분해를 사용하여 선형 신경망에서 임계점의 분석적 형태를 유도한다.
• 고유값 및 질량 분석을 통해 임계점이 전역 최소화자임을 보장하는 필수 및 필요조건을 수립한다.
• 임계점의 분석적 형태를 활용하여 손실 지형의 전반적 구조를 분석한다.
• 선형 신경망의 지형과 비교하여 일중간층 ReLU 신경망으로 분석을 확장한다.
• 행렬 최적화 이론을 활용하여 임계점 주변에서 손실 함수의 행동을 특성화한다.
• 선형 및 ReLU 활성화를 갖는 신경망의 최적화 지형을 비교하여 비잔영 국소 최소값의 존재 여부를 확인한다.

실험 결과

연구 질문

• RQ1 정사각형 손실을 가진 선형 신경망에서 임계점의 분석적 형태는 무엇인가?
• RQ2 선형 신경망에서 임계점이 전역 최소화자임을 보장하기 위한 조건은 무엇인가?
• RQ3 일중간층 ReLU 신경망의 손실 함수에 전역 최소값이 아닌 국소 최소값이 존재하는가?
• RQ4 선형 신경망의 지형 특성과 얕은 ReLU 신경망의 지형 특성 간 차이는 무엇인가?
• RQ5 어떤 네트워크 아키텍처의 구조적 특성이 비잔영 국소 최소값의 존재 또는 부재를 이끌어내는가?

주요 결과

• 정사각형 손실을 가진 선형 신경망의 임계점은 손실 값과 최적성 조건을 완전히 특성화하는 정확한 분석적 형태를 갖는다.
• 선형 신경망에서 임계점이 전역 최소화자임은 그 분석적 형태에서 유도된 특정 질량 및 특이값 조건을 만족할 때에만 성립한다.
• 선형 신경망은 비잔영 국소 최소값이 존재하지 않는다 — 모든 국소 최소값은 전역 최소값이다.
• 반면에, 일중간층 ReLU 신경망은 전역 최소값이 아닌 국소 최소값을 가질 수 있으며, 이는 비잔영 해의 존재를 시사한다.
• 임계점의 분석적 특성화를 통해 손실 지형의 완전한 이해가 가능해지며, 선형 신경망에서 나쁜 국소 최소값의 부재를 포함한다.
• 결과는 선형 및 비선형 얕은 신경망 간 최적화 행동의 근본적인 차이를 드러내며, ReLU 신경망은 국소 최적 해에 더 취약하다.