[논문 리뷰] Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition

Rong Ge, Furong Huang외 2명|arXiv (Cornell University)|2015. 03. 06.

Tensor decomposition and applications참고 문헌 27인용 수 611

한 줄 요약

이 논문은 비볼록 최적화를 위한 엄격한 안장점 성질을 제안하며, 노이즈가 첨가된 확률적 경사하강법(SGD)이 다항시간 내에 안장점을 효과적으로 회피하고 국소 최솟값으로 수렴할 수 있음을 증명한다. 저자들은 이 프레임워크를 직교 텐서 분해에 적용하여 엄격한 안장점 성질을 만족하는 새로운 목적 함수를 제안함으로써, 텐서 분해에 대해 전역 수렴 보장을 갖춘 첫 번째 온라인 알고리즘을 가능하게 하였다.

ABSTRACT

We analyze stochastic gradient descent for optimizing non-convex functions. In many cases for non-convex functions the goal is to find a reasonable local minimum, and the main concern is that gradient updates are trapped in saddle points. In this paper we identify strict saddle property for non-convex problem that allows for efficient optimization. Using this property we show that stochastic gradient descent converges to a local minimum in a polynomial number of iterations. To the best of our knowledge this is the first work that gives global convergence guarantees for stochastic gradient descent on non-convex functions with exponentially many local minima and saddle points. Our analysis can be applied to orthogonal tensor decomposition, which is widely used in learning a rich class of latent variable models. We propose a new optimization formulation for the tensor decomposition problem that has strict saddle property. As a result we get the first online algorithm for orthogonal tensor decomposition with global convergence guarantee.

연구 동기 및 목표

• 확률적 경사하강법(SGD)이 비볼록 최적화에서 안장점을 효율적으로 회피할 수 있는 조건을 규명하는 것.
• 딥 네URAL 네트워크 및 기타 비볼록 모델 학습에서 주요 장애물이 되는 안장점 문제를 해결하는 것.
• 지수적으로 많은 국소 최솟값과 안장점을 포함한 비볼록 설정에서 SGD의 전역 수렴 보장을 제공하는 것.
• 직교 텐서 분해를 위한 이론적 수렴 보장이 있는 온라인 알고리즘을 개발하는 것.

제안 방법

• 엄격한 안장점 성질 도입: 모든 안장점에서 헤시안 행렬이 적어도 하나의 음수 고유값을 갖는 이중 미분 가능 함수.
• 노이즈가 첨가된 경사하강법(SGD에 노이즈를 주입)을 엄격한 안장점 조건 하에서 분석하여, 다항시간 내에 국소 최솟값으로 수렴함을 증명.
• 직교 텐서 분해를 위한 새로운 최적화 설정을 설계하여 엄격한 안장점 성질를 만족하도록 함.
• 접선 공간 사영과 헤시안 근사와 같은 리만 기하학 최적화 도구를 사용하여 임계점 주변의 국소 기하학을 분석.
• 엄격한 안장점 조건 하에서, 단지 일阶 도함수 정보만으로도 스트로스틱 노이즈 덕분에 SGD가 안장점을 효율적으로 회피함을 증명.
• 제약 다양체 위에서 헤시안의 안정성과 곡률 분석을 통해 제안된 온라인 알고리즘의 전역 수렴을 확립.

실험 결과

연구 질문

• RQ1 비볼록 최적화에서 확률적 경사하강법이 안장점을 효율적으로 회피할 수 있는 조건는 무엇인가?
• RQ2 일阶 방법인 SGD가 지수적으로 많은 안장점과 국소 최솟값을 포함한 비볼록 문제에서 전역 수렴을 달성할 수 있는가?
• RQ3 모든 안장점에서 음의 곡률 방향이 존재하는 엄격한 안장점 성질이, 단지 경사 정보만으로도 안장점에서의 효율적 탈출을 가능하게 하는가?
• RQ4 직교 텐서 분해와 같은 실용적 문제에 엄격한 안장점 성질를 설계할 수 있는가?
• RQ5 직교 텐서 분해에 대해 전역 수렴 보장이 있는 온라인 알고리즘이 존재하는가?

주요 결과

• 엄격한 안장점 성질 하에서 노이즈가 첨가된 확률적 경사하강법은 지수적으로 많은 안장점이 존재하는 상황에서도 다항시간 내에 국소 최솟값으로 수렴한다.
• 제안된 직교 텐서 분해를 위한 최적화 설정은 엄격한 안장점 성질를 만족하여 전역 수렴 보장을 가능하게 한다.
• 직교 텐서 분해에 대해 전역 수렴 보장이 있는 첫 번째 온라인 알고리즘이 제안되어 배치 방법의 확장성 한계를 극복한다.
• 분석 결과, 안장점은 노이즈로 인해 불안정해지며, 이로 인해 기울기가 0이 되더라도 여전히 탈출이 가능함을 보여준다.
• 모든 국소 최솟값의 δ-근접 영역 내부에 있는 점들에 대해, 모든 접선 방향에서 헤시안은 양의 곡률를 가지며 안정성과 수렴을 보장한다.
• 이 프레임워크는 비제약 및 등식 제약 최적화 문제에 모두 적용 가능하며, 직교 제약이 있는 텐서 분해와 같은 문제로 확장 가능하다.