[논문 리뷰] The Global Optimization Geometry of Shallow Linear Neural Networks

Zhihui Zhu, Daniel Soudry외 2명|arXiv (Cornell University)|2018. 05. 13.

Advanced Numerical Analysis Techniques참고 문헌 43인용 수 6

한 줄 요약

이 논문은 제곱 오차 손실로 훈련되는 얕은 선형 신경망이 유리한 최적화 지오메트리를 가짐을 입증한다: 비정상적인 국소 최소값이 없으며, 모든 안장점은 엄격하다. 즉, 헤시안 행렬이 적어도 하나의 음수 고유값을 가진다. 이러한 기하적 성질은 그라디언트 기반 최적화 방법(예: 그라디언트 하강법)이 전역 최소값으로 수렴함을 보장한다.

ABSTRACT

We examine the squared error loss landscape of shallow linear neural networks. We show---with significantly milder assumptions than previous works---that the corresponding optimization problems have benign geometric properties: there are no spurious local minima and the Hessian at every saddle point has at least one negative eigenvalue. This means that at every saddle point there is a directional negative curvature which algorithms can utilize to further decrease the objective value. These geometric properties imply that many local search algorithms (such as the gradient descent which is widely utilized for training neural networks) can provably solve the training problem with global convergence.

연구 동기 및 목표

• 얕은 선형 신경망의 전역 최적화 기하학을 최소한의 가정 하에 분석하는 것.
• 얕은 선형 네트워크의 손실 지오메트리에서 비정상적인 국소 최소값이 존재하지 않음을 증명하는 것.
• 모든 안장점이 엄격하다는 것을 보여주는 것, 즉 각 안장점에서 헤시안 행렬이 적어도 하나의 음수 고유값을 가진다는 것.
• 그라디언트 하강법과 같은 국소 탐색 알고리즘이 전역 최소값으로 증명 가능하게 수렴할 수 있음을 확립하는 것.
• 네트워크의 너비, 데이터 분포, 랭크 조건에 대한 가정을 완화함으로써 이전 결과를 일반화하는 것.

제안 방법

• 두 계층 선형 네트워크의 가중치 행렬에 대해 제곱 오차 손실을 최소화하는 최적화 문제를 수식화하는 것.
• 목표 행렬의 특이값 분해(SVD)를 사용하여 최적화 지오메트리를 구조화된 부분공간으로 분해하는 것.
• 랭크와 특이값 구조에 기반해 임계점을 전역 최소값과 안장점으로 분류하여 임계점 분석을 수행하는 것.
• 헤시안의 고유벡터와 가중치 행렬의 펌터베이션을 사용하여 안장점에서 명시적인 내림방향을 구성하는 것.
• 모든 비전역 최소값 임계점에서 헤시안이 적어도 하나의 음의 곡률 방향을 가지므로 엄격한 안장 성질을 증명하는 것.
• 행렬 펌터베이션 이론과 프로베니우스 노름 항등식을 활용하여 곡률를 근사하고, 구성된 방향에서 음의 정부호를 확립하는 것.

실험 결과

연구 질문

• RQ1 제곱 오차 손실로 훈련되는 얕은 선형 신경망에 비정상적인 국소 최소값이 존재하는가?
• RQ2 얕은 선형 네트워크의 손실 지오메트리에서 모든 안장점이 엄격한가(즉, 각 안장점에서 헤시안 행렬이 적어도 하나의 음수 고유값을 가지는가)?
• RQ3 이 모델 유형에 대해 그라디언트 하강법이 전역 최소값으로 증명 가능하게 수렴할 수 있는가?
• RQ4 데이터 및 목표 행렬에 대한 기하적 조건은 어떤 것이며, 이는 유리한 최적화 성질을 보장하는가?
• RQ5 이전 연구와 비교해 봤을 때, 네트워크의 너비, 데이터 랭크 또는 분포에 대한 가정은 어떻게 다를까?

주요 결과

• 약한 가정 하에 얕은 선형 신경망의 최적화 지오메트리는 비정상적인 국소 최소값이 없다.
• 모든 안장점은 엄격하다: 각 안장점에서 헤시안 행렬은 적어도 하나의 음수 고유값을 가지며, 음의 곡률를 통해 탈출이 가능하다.
• 모든 비전역 최소값 임계점에서 헤시안의 곡률는 $-2( u_{d_1} - u_{d_1+1})$ 이하로 유계이다. 여기서 $ u_i$ 는 특이값을 의미한다.
• 과도한 파rameter화 없이도 그라디언트 하강법의 전역 수렴이 기하학적 특성 덕분에 보장된다.
• 이전 연구보다 훨씬 더 약한 가정 하에 결과가 성립하며, 데이터가 전순위이거나 과도한 파라미터화가 필요하지 않다.
• 분석은 전순위 및 저랭크 목표 행렬 모두에 적용 가능하며, 임계 기하학은 랭크 $d_1$ 에서의 특이값 갭에 따라 달라진다.