[논문 리뷰] Depth Creates No Bad Local Minima

Haihao Lu, Kenji Kawaguchi|arXiv (Cornell University)|2017. 02. 27.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 81

한 줄 요약

본 논문은 깊이가 깊은 선형 네트워크에서 나쁜 국소최소를 만들어내지 않는다는 것과, 전체 열-랭크(full-row-rank) 조건 하에서 모든 국소최소가 전역최소임을 보인다. 또한 제곱 손실(square loss)을 가지는 깊은 선형 네트워크의 모든 국소최소가 전역최소임을 더 간단한 증명으로 제공하고, 핵심 정리에 따라 일반 손실 함수로의 확장을 제시한다.

ABSTRACT

In deep learning, extit{depth}, as well as extit{nonlinearity}, create non-convex loss surfaces. Then, does depth alone create bad local minima? In this paper, we prove that without nonlinearity, depth alone does not create bad local minima, although it induces non-convex loss surface. Using this insight, we greatly simplify a recently proposed proof to show that all of the local minima of feedforward deep linear neural networks are global minima. Our theoretical results generalize previous results with fewer assumptions, and this analysis provides a method to show similar results beyond square loss in deep linear models.

연구 동기 및 목표

• 깊이가 딥 러닝의 비凸 손실 표면에 어떻게 기여하는지 이해를 자극한다.
• 깊이만으로는 깊은 선형 네트워크에서 나쁜 국소최소를 만들지 않는다는 것을 보인다.
• 적절한 조건하에서 순방향 피드포워드 깊은 선형 네트워크의 모든 국소최소가 전역최소임을 더 간단한 증거를 제공한다.
• 핵심 정리에 부합하는 일반 손실 함수로까지 결과를 Frobenius(제곱) 손실을 넘어 확장한다.
• 행렬 완성 및 더 넓은 비볼록 최적화 문제에 대한 시사점을 논의한다.

제안 방법

• 제곱 손실을 갖는 깊은 선형 네트워크의 학습 목표를 L(W)=1/2 ||W_H ... W_1 X - Y||_F^2로 형식화한다.
• 깊은 문제를 F(R)=||RX-Y||_F^2, 랭크(R) <= d_p인 얕은(rank-constrained) 문제와 관련짓는다.
• 깊은 문제의 모든 국소최소가 얕은 문제의 국소최소에 대응한다는 것을 증명한다(정리 2.1).
• 랭크-제한 얕은 문제의 모든 국소최소가 전역최소임을 보인다(정리 2.2).
• 깊은 선형 네트워크의 모든 국소최소가 전역최소임을 결론짓는다(정리 2.3).
• SVD 섭동 결과와 랭크 고려를 활용한 구성적 섭동 기반 증명을 제공한다(도 Lemmas 3.1–3.4 및 정리 3.1–3.3).

실험 결과

연구 질문

• RQ1 비선형성 없이 깊이만으로도 깊은 선형 네트워크에서 나쁜 국소최소를 초래하는가?
• RQ2 깊은 선형 네트워크의 국소최소가 동등한 얕은 모델의 전역최소에 대응하는 조건은 무엇인가?
• RQ3 Frobenius(제곱) 손실을 넘어 일반 손실 함수에도 나쁜 국소최소가 없는 성질이 확장될 수 있는가?
• RQ4 랭크 제약 측면에서 SVD의 섭동 이론이 깊은-얕은 정식화를 어떻게 연결하는 데 사용될 수 있는가?

주요 결과

• 제곱 손실을 갖는 깊은 선형 네트워크의 어떤 국소최소도 얕은 랭크-제한 모델의 대응하는 국소최소를 산출한다.
• 얕은 랭크-제한 모델의 입력 X가 full-row-rank를 가지면 모든 국소최소는 전역최소이다.
• 따라서 X와 Y가 full-row-rank 조건 하에서 피드포워드 깊은 선형 네트워크의 모든 국소최소는 전역최소이다.
• 결과는 Kawaguchi(2016)을 더 적은 가정으로 일반화하고 정리 3.2를 통해 제곱 손실 외의 경우까지 확장한다.
• 이 접근법은 높은 확률로 행렬 완성 시나리오에 대해 '나쁜 국소최소 없음(no-bad-local-minima)' 결과를 확장하는 경로를 제공한다.