[논문 리뷰] Critical Points of Neural Networks: Analytical Forms and Landscape Properties

Yi Zhou, Yingbin Liang|arXiv (Cornell University)|2017. 10. 30.

Neural dynamics and brain function참고 문헌 14인용 수 30

한 줄 요약

이 논문은 선형 및 ReLU 활성화를 갖는 신경망에서 제곱 손실 함수의 임계점과 전역 최소화자에 대한 완전한 분석적 특성화를 제공한다. 정확한 임계점 형태를 유도함으로써 선형 네트워크는 허위 국소 최소화자를 갖지 않으며, 한 은닉층을 갖는 ReLU 네트워크는 전역 최소가 아닌 국소 최소화자를 가질 수 있음을 증명하여, 데이터나 차원에 대한 제한 없는 일반 설정 하에서 최적화 경관 성질에 대한 새로운 통찰을 제공한다.

ABSTRACT

Due to the success of deep learning to solving a variety of challenging machine learning tasks, there is a rising interest in understanding loss functions for training neural networks from a theoretical aspect. Particularly, the properties of critical points and the landscape around them are of importance to determine the convergence performance of optimization algorithms. In this paper, we provide full (necessary and sufficient) characterization of the analytical forms for the critical points (as well as global minimizers) of the square loss functions for various neural networks. We show that the analytical forms of the critical points characterize the values of the corresponding loss functions as well as the necessary and sufficient conditions to achieve global minimum. Furthermore, we exploit the analytical forms of the critical points to characterize the landscape properties for the loss functions of these neural networks. One particular conclusion is that: The loss function of linear networks has no spurious local minimum, while the loss function of one-hidden-layer nonlinear networks with ReLU activation function does have local minimum that is not global minimum.

연구 동기 및 목표

• 다양한 신경망 아키텍처에서 제곱 손실 함수의 임계점 및 전역 최소화자의 분석적 형태에 대한 완전한(필요 및 충분한) 특성화를 제공하는 것.
• 특히 허위 국소 최소화자의 존재 여부와 같은 경관 성질을 일반적인 가정 하에서 확립하는 것—역행성이나 데이터에 특화된 제약 조건을 요구하지 않는 것.
• 기존 선형 네트워크 결과를 일반화하여 데이터 행렬과 네트워크 차원에 대한 가정을 제거하고, 비선형 ReLU 네트워크로 분석을 확장하는 것.
• 임계점의 분석적 형태를 활용해 기존의 경관 성질에 대해 더 단순하고 직관적인 증명을 제공하는 것.

제안 방법

• 특이값 분해(SVD)와 정규직교 블록 행렬을 사용하여 얕은 및 깊은 선형 네트워크의 임계점 분석적 형태를 유도한다.
• 가중치 행렬의 열 단위 수정을 기반으로 한 펌터베이션 기반 방법을 도입하여 임계점 주변의 손실 함수 변화를 평가한다.
• 투영 행렬과 추적 기반 손실 평가를 사용하여 펌터베이션 전후의 함수 값 비교를 수행한다.
• 비전역 최소화자 임계점에서 내림차선 방향을 식별하고, 선형 케이스에서 국소 최소화자와 전역 최소화자가 동치임을 증명하는 데 응용한다.
• 특정 매개변수 공간 영역에서 한 은닉층 ReLU 네트워크의 임계점을 특성화하며, 단일 유닛 케이스의 전체 매개변수 공간을 포함한다.
• 행렬 질량 조건과 특이값 순서를 활용하여 전역 최적성에 대한 필요 및 충분 조건을 도출한다.

실험 결과

연구 질문

• RQ1 임의의 데이터와 차원을 갖는 얕고 깊은 선형 네트워크에서 임계점 및 전역 최소화자의 필요 및 충분한 분석적 조건은 무엇인가?
• RQ2 제곱 손실을 갖는 한 은닉층 ReLU 네트워크의 손실 함수는 전역 최소가 아닌 국소 최소화자를 포함하는가?
• RQ3 특히 단일 은닉 유닛 설정에서 전체 매개변수 공간에서 비선형 ReLU 네트워크의 임계점 분석적 형태를 완전히 특성화할 수 있는가?
• RQ4 경관 성질—예를 들어 안장점 또는 허위 국소 최소화자의 존재—는 임계점의 분석적 구조에 어떻게 의존하는가?
• RQ5 분석적 형태를 활용해 제한적인 가정 없이 선형 네트워크에서 국소 최소화자와 전역 최소화자의 동치성을 증명할 수 있는가?

주요 결과

• 얕은 선형 네트워크의 경우, 어떤 데이터 행렬이나 네트워크 차원에 대한 가정 없이도 모든 국소 최소화자가 전역 최소화자이며, 나머지 모든 임계점은 안장점임을 입증한다.
• 깊은 선형 네트워크의 경우, 임계점의 분석적 형태는 비전역 최소화자 임계점을 카테고리로 나누며, 내림차선 방향을 식별함으로써 국소 최소화자가 전역적으로 최적임을 증명한다.
• 한 은닉층 ReLU 네트워크의 경우, 비전역 국소 최소화자와 국소 최대화자가 존재함을 구체적인 예시로 입증하여 손실 경관이 비트리비얼함을 보여준다.
• 임계점의 분석적 형태는 손실 값과 선형 및 ReLU 네트워크 양쪽에서 전역 최적성에 대한 필요 및 충분 조건을 완전히 특성화한다.
• 이 결과는 데이터와 네트워크 차원에 대한 가정을 제거함으로써 기존 연구를 일반화하며, 경관 성질에 대한 새로운, 더 단순한 증명 프레임워크를 제공한다.
• 본 연구는 행렬 인수분해(특수한 선형 네트워크 케이스)가 동일한 경관 성질을 그대로 이어받음을 확인한다: 허위 국소 최소화자가 존재하지 않는다.