[논문 리뷰] On the saddle point problem for non-convex optimization

Razvan Pascanu, Yann Dauphin외 2명|arXiv (Cornell University)|2014. 05. 19.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 70

한 줄 요약

이 논문은 고차원 비볼록 최적화, 특히 딥 러닝에서 국소 최소값이 아닌 안장점이 주요 장애물임을 주장한다. 이를 바탕으로 뉴턴 방법의 고유값에 절댓값을 취해 안장점을 신속히 탈출하도록 수정한 안장점 자유 뉴턴 방법을 제안하며, 소규모 MNIST 변형 데이터셋에서의 初기 실험 결과에서 뛰어난 수렴 성능을 보였다.

ABSTRACT

A central challenge to many fields of science and engineering involves minimizing non-convex error functions over continuous, high dimensional spaces. Gradient descent or quasi-Newton methods are almost ubiquitously used to perform such minimizations, and it is often thought that a main source of difficulty for the ability of these local methods to find the global minimum is the proliferation of local minima with much higher error than the global minimum. Here we argue, based on results from statistical physics, random matrix theory, and neural network theory, that a deeper and more profound difficulty originates from the proliferation of saddle points, not local minima, especially in high dimensional problems of practical interest. Such saddle points are surrounded by high error plateaus that can dramatically slow down learning, and give the illusory impression of the existence of a local minimum. Motivated by these arguments, we propose a new algorithm, the saddle-free Newton method, that can rapidly escape high dimensional saddle points, unlike gradient descent and quasi-Newton methods. We apply this algorithm to deep neural network training, and provide preliminary numerical evidence for its superior performance.

연구 동기 및 목표

• 비볼록 최적화에서 국소 최소값이 주요 장애물이라는 일반적인 믿음을 도전하며, 고차원 공간에서 안장점이 지배적임을 주장한다.
• 고차원 오차 표면에서 안장점과 평탄한 영역 근처에서 최적화 알고리즘의 기하학적 및 역학적 행동을 분석한다.
• 두 번째 차수 곡률 정보를 새로운 방식으로 활용하여 안장점을 효율적으로 탈출할 수 있는 새로운 최적화 알고리즘을 개발한다.
• 안장점의 흔함에 대한 이론적 예측을 딥 뉴럴 네트워크 손실 표면에서 실증적으로 검증하기 위해 안장점 자유 뉴턴 방법을 사용한다.
• 안장점 근처에서 뉴턴 유형 알고리즘의 불안정성 문제를 해결하여 딥 러닝에서 확장 가능한 두 번째 차수 최적화의 기초를 마련한다.

제안 방법

• 표준 뉴턴 업데이트를 수정하여 헤시안 행렬을 원래 헤시안 고유값의 절댓값을 갖는 행렬로 대체하는 안장점 자유 뉴턴 방법을 제안한다.
• 신뢰 영역 프레임워크를 사용하여 각 방향에서의 스텝 크기를 제1차와 제2차 근사 오차의 비율에 따라 결정함으로써 이차 모델의 신뢰성을 확보한다.
• Theano 딥 러닝 프레임워크를 사용하여 $10 \times 10$ 픽셀 크기의 압축된 MNIST 데이터셋에서 소규모 피드포워드 신경망을 훈련한다.
• 안장점 자유 뉴턴 방법을 사용해 경로 추적 전략을 적용하여 근처의 임계점을 발견하고, 헤시안 스펙트럼과 임계점 유형의 실증 분석을 가능하게 한다.
• 200개의 임계점 탐색을 수행함: 안장점 자유 방법의 초기 훈련 단계에서의 파라미터 근처 100개와 균일하게 샘플된 가중치에서 유도된 100개를 통해 임계점의 분포를 평가한다.
• 발견된 임계점에서의 헤시안 고유값 분포를 분석하며, 로그 스케일 플롯을 사용해 평탄한 영역과 비특이성 구조를 탐지하고, 특히 영고유값 근처에서의 특성을 분석한다.

실험 결과

연구 질문

• RQ1 고차원 비볼록 최적화 문제, 특히 딥 러닝에서 국소 최소값보다 안장점이 더 흔한가?
• RQ2 경사하강법 및 준뉴턴 방법과 같은 표준 최적화 방법은 고차원 안장점, 특히 평탄한 영역을 가진 안장점 근처에서 어떻게 행동하는가?
• RQ3 곡률 정보를 수정하여 안장점을 능동적으로 탈출하도록 설계된 두 번째 차수 방법을 개발할 수 있는가? 즉, 안장점에 끌려들어가는 대신 탈출하도록 하는가?
• RQ4 무작위 행렬 이론 및 통계역학의 이론적 예측(예: Bray와 Dean, 2007)이 실제 딥 러닝 손실 표면에서 얼마나 정확하게 유지되는가?
• RQ5 실제로 안장점 자유 뉴턴 방법은 표준 제1차 및 제2차 최적화 방법보다 더 빠른 수렴과 더 나은 안장점 탈출 성능을 보이는가?

주요 결과

• 고차원 공간에서는 높은 오차를 가진 국소 최소값은 지수적으로 희귀하며, 양음의 곡률 고유값을 가진 안장점이 압도적으로 흔하다.
• 임계점에서의 헤시안 고유값 분포는 이론적 예측과 일치한다: 훈련 오차가 감소함에 따라 음의 고유값 수가 증가하고, 분포가 오른쪽으로 이동함으로써 더 많은 안장점 구조를 나타낸다.
• 많은 수의 고유값이 0에 가까이 관측되어, 임계점 주변에 평탄한 영역과 비특이성 구조가 존재함을 시사하며, 이는 최적화 알고리즘의 수렴 속도를 저하시킬 수 있다.
• 안장점 자유 뉴턴 방법은 표준 뉴턴 방법이 안정성 문제 또는 느린 수렴에 빠지기 쉬운 것과 달리, 안장점에 끌리지 않고 고차원 안장점을 성공적으로 탈출한다.
• 소규모 MNIST 모델에서의 실증 결과로, 안장점 자유 뉴턴 방법이 경사하강법 및 준뉴턴 방법보다 수렴 속도와 평탄한 영역 탈출 성능에서 뛰어난 성능을 보였다.
• 임계점에서 낮은 오차를 가진 점들이 주로 국소 최소값이 아니라 안장점임을 관찰함으로써, 이러한 구조를 효율적으로 탐색할 수 있는 알고리즘이 필요함을 재확인한다.