[논문 리뷰] Deep Learning without Poor Local Minima

Kenji Kawaguchi|arXiv (Cornell University)|2016. 05. 23.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 23

한 줄 요약

이 논문은 깊이 있는 선형 신경망에서 모든 국소 최솟값이 전역 최솟값이며, 모든 비전역 최적점은 음의 고유값을 가진 안장점임을 증명하여 오랫동안 남아있던 추측을 해결한다. 또한 독립성 가정 하에 깊이 있는 비선형 네트워크로 이러한 결과를 확장하여, 나쁜 국소 최솟값의 부재로 인해 깊이 있는 모델 학습이 이론적으로 가능하다고 보여준다.

ABSTRACT

In this paper, we prove a conjecture published in 1989 and also partially address an open problem announced at the Conference on Learning Theory (COLT) 2015. With no unrealistic assumption, we first prove the following statements for the squared loss function of deep linear neural networks with any depth and any widths: 1) the function is non-convex and non-concave, 2) every local minimum is a global minimum, 3) every critical point that is not a global minimum is a saddle point, and 4) there exist "bad" saddle points (where the Hessian has no negative eigenvalue) for the deeper networks (with more than three layers), whereas there is no bad saddle point for the shallow networks (with three layers). Moreover, for deep nonlinear neural networks, we prove the same four statements via a reduction to a deep linear model under the independence assumption adopted from recent work. As a result, we present an instance, for which we can answer the following question: how difficult is it to directly train a deep model in theory? It is more difficult than the classical machine learning models (because of the non-convexity), but not too difficult (because of the nonexistence of poor local minima). Furthermore, the mathematically proven existence of bad saddle points for deeper models would suggest a possible open problem. We note that even though we have advanced the theoretical foundations of deep learning and non-convex optimization, there is still a gap between theory and practice.

연구 동기 및 목표

• 깊이 있는 선형 신경망의 최적화 지형에 관한 오랫동안 남아있던 추측(1989)을 해결하기 위해.
• 2015년 COLT에서 제기된 깊이 있는 비선형 네트워크에서 나쁜 국소 최솟값이 존재하지 않는다는 열린 문제를 다루기 위해.
• 깊이 있는 선형 네트워크에서 모든 국소 최솟값이 전역 최솟값이며, 모든 비전역 최적점이 헤시안 행렬에서 음의 고유값을 가진 안장점임을 입증하기 위해.
• 독립성 가정 하에 비선형 네트워크를 선형 사례로 환원하여 이러한 결과를 깊이 있는 비선형 네트워크로 확장하기 위해.
• 비볼록성에도 불구하고 딥 러닝 최적화의 이론적 타당성을 명확히 하기 위해.

제안 방법

• 임의의 깊이와 너비를 가진 깊이 있는 선형 신경망의 제곱 손실 함수를 분석한다.
• 행렬 분해와 최적점 분석을 통해 손실 지형을 특성화하며, 헤시안 행렬과 고유값 구조에 중점을 둔다.
• 이전 연구에서 제안된 독립성 가정을 적용하여 비선형 네트워크를 이론적 분석을 위한 등가 선형 모델로 환원한다.
• 레마 4.1과 4.2를 활용하여 데이터 행렬 $\Sigma = YX^T(XX^T)^{-1}XY^T$ 로 표현된 최적점의 정확한 표현을 유도한다.
• 파arameterization 효과로 인해 깊이 있는 네트워크와 얕은 네트워크 간의 최적점 구조가 다름을 입증하여, 이전의 직관적 붕괴 주장이 잘못되었음을 밝힌다.
• 나쁜 안장점(음의 고유값이 없는 경우)은 깊이가 3 層를 초과하는 네트워크에서만 존재하며, 얕은 네트워크에서는 존재하지 않음을 증명한다.

실험 결과

연구 질문

• RQ1 깊이 있는 선형 네트워크의 제곱 손실에서 모든 국소 최솟값이 전역 최솟값인가?
• RQ2 깊이 있는 선형 네트워크의 비전역 최적점에서 헤시안 행렬의 고유값이 음수를 포함하는가, 아니면 '나쁜' 안장점인가?
• RQ3 독립성 가정 하에 깊이 있는 비선형 네트워크의 최적화 지형을 깊이 있는 선형 네트워크로 환원하여 분석할 수 있는가?
• RQ4 네트워크의 깊이가 손상된 안장점(음의 고유값이 없는 경우)의 존재 여부에 미치는 영향은 무엇인가?
• RQ5 기존의 모델 표현력 기반 직관적 추론은 왜 깊이 수준 간 최적점 구조를 유지하지 못하는가?

주요 결과

• 깊이와 너비가 임의인 깊이 있는 선형 네트워크에서는 손실 함수가 비볼록이고 비볼록이더라도 모든 국소 최솟값이 전역 최솟값임을 입증한다.
• 깊이 있는 선형 네트워크에서 모든 비전역 최적점은 헤시안 행렬에서 최소한 하나의 음의 고유값을 가진 안장점이며, 깊이가 3 이상인 네트워크를 제외한 나머지는 '나쁜' 안장점(음의 고유값이 없는 경우)이 존재하지 않는다.
• 나쁜 안장점은 깊이가 3 이상인 네트워크(H > 3)에서만 존재하며, 얕은 네트워크(H = 3)에서는 이러한 점이 없어 최적화 난이도가 깊이에 따라 달라짐을 시사한다.
• 증명 과정에서 기존의 모델 표현력과 랭크 등가성 기반 직관적 추론이 실패하는 이유는 서로 다른 파arameterization이 서로 다른 최적점 구조를 만들어내기 때문이다.
• 깊이 있는 비선형 네트워크의 경우, 독립성 가정 하에 선형 사례와 동일한 유리한 지형 특성(나쁜 국소 최솟값 없음, 오직 안장점만 존재)이 유지됨을 입증한다.
• 이론적 결과는 나쁜 국소 최솟값의 부재로 인해 딥 러닝 모델 학습이 NP-난이도 문제만큼 어렵지 않음을 확인한다. 다만 깊이가 깊은 모델에서는 여전히 나쁜 안장점으로 인해 도전 과제가 존재할 수 있다.