[논문 리뷰] Identifying and attacking the saddle point problem in high-dimensional non-convex optimization

Yann Dauphin, Razvan Pascanu외 4명|arXiv (Cornell University)|2014. 06. 10.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 461

한 줄 요약

이 논문은 고차원 비볼록 최적화에서 국소 최솟값이 아니라 안장점이 주요 장애물임을 규명하며, 절대 역헤시안을 사용해 기울기를 재스케일링함으로써 안장점에서 신속히 벗어나는 안장점 자유 뉴턴법을 제안한다. 이 방법은 딥 뉴럴 네트워크와 순환 신경망을 훈련하는 데 있어 경사하강법 및 준뉴턴법보다 뛰어나며, 벤치마크 과제에서 더 낮은 테스트 오차와 더 빠른 수렴을 달성한다.

ABSTRACT

A central challenge to many fields of science and engineering involves minimizing non-convex error functions over continuous, high dimensional spaces. Gradient descent or quasi-Newton methods are almost ubiquitously used to perform such minimizations, and it is often thought that a main source of difficulty for these local methods to find the global minimum is the proliferation of local minima with much higher error than the global minimum. Here we argue, based on results from statistical physics, random matrix theory, neural network theory, and empirical evidence, that a deeper and more profound difficulty originates from the proliferation of saddle points, not local minima, especially in high dimensional problems of practical interest. Such saddle points are surrounded by high error plateaus that can dramatically slow down learning, and give the illusory impression of the existence of a local minimum. Motivated by these arguments, we propose a new approach to second-order optimization, the saddle-free Newton method, that can rapidly escape high dimensional saddle points, unlike gradient descent and quasi-Newton methods. We apply this algorithm to deep or recurrent neural network training, and provide numerical evidence for its superior optimization performance.

연구 동기 및 목표

• 고차원 비볼록 최적화에서 국소 최솟값이 주요 장애물이라는 전통적 믿음을 도전하기 위해.
• 차원이 높아질수록 기하급수적으로 증가하는 안장점의 특성으로 인해, 국소 최솟값이 아니라 안장점이 주요 장애물임을 입증하기 위해.
• 기존 준뉴턴 방법과는 다름없이 곡률 정보를 활용하여 안장점을 효율적으로 탈출할 수 있는 두 번째 차수 최적화 방법을 개발하기 위해.
• 신경망 손실 표면에서 임계점의 색인과 오차 수준 사이의 상관관계에 대한 이론적 예측을 경험적으로 검증하기 위해.
• 기존 표준 방법들과 비교해 딥 뉴럴 네트워크 및 순환 신경망에서 최적화 성능을 향상시키기 위해.

제안 방법

• 안장점에서 벗어나기 위해 기울기 단계를 절대값의 역헤시안으로 재스케일링하는 안장점 자유 뉴턴법을 제안한다.
• 손실 함수를 2차로 근사하는 대신 곡률에 기반해 신뢰 영역의 형태를 정의하는 일반화된 신뢰 영역 프레임워크를 사용한다.
• 신경망 오차 표면에서 임계점의 색인(음의 헤시안 고유값 비율)을 어떤 값이든 검색하기 위해 수치 기법을 활용한다.
• 훈련이 정체되었을 때 SGD에서 안장점 자유 뉴턴법으로 전환하여 딥 뉴럴 네트워크와 순환 신경망을 훈련한다.
• 전체 헤시안 계산이 불가능한 고차원 환경에서 헤시안-벡터 곱을 근사하기 위해 잘라낸 크릴로프 부분공간 방법을 적용한다.
• 안장점에서 멀리 떨어져 있더라도 안정성과 효율성을 유지하는 신뢰 영역 접근법을 구현한다.

실험 결과

연구 질문

• RQ1 고차원 비볼록 최적화 문제에서 국소 최솟값보다 안장점이 더 흔한가?
• RQ2 큰 곡률 평탄한 구역을 가진 고오차 안장점의 존재가 경사 기반 최적화를 상당히 느리게 하는가?
• RQ3 준뉴턴 방법과 다르게 곡률 정보를 활용하여 안장점에서 신속히 탈출할 수 있는 두 번째 차수 최적화 방법을 설계할 수 있는가?
• RQ4 신경망 손실 표면에서 임계점의 색인(음의 헤시안 고유값 비율)과 오차 수준 사이에 강한 정적 상관관계가 존재하는가?
• RQ5 안장점 자유 뉴턴법이 딥 뉴럴 네트워크 및 순환 신경망에서 표준 최적화 알고리즘보다 더 빠른 수렴과 더 나은 일반화 성능을 달성하는가?

주요 결과

• 고차원 비볼록 최적화에서 안장점은 국소 최솟값보다 기하급수적으로 더 흔하며, 특히 고오차 수준에서 그렇다.
• 고오차의 임계점 대부분은 안장점이며, 오차가 증가할수록 음의 곡률 방향의 비율이 증가한다. 이는 무작위 행렬 이론의 예측과 일치한다.
• MNIST 데이터셋에서 안장점 자유 뉴턴법은 0.57의 테스트 오차를 기록했으며, 이는 이전까지의 최고 성능인 헤시안 프리 메서드의 0.69를 뛰어넘는 성과이다.
• 순환 신경망을 사용한 문자 수준 언어 모델링에서 SGD에서 안장점 자유 뉴턴법으로 전환했을 때 오차가 급격히 감소하여, 안장점 주변의 평탄한 구역에서 벗어났음을 시사한다.
• 안장점 자유 뉴턴법이 도달한 해는 SGD 해보다 음의 고유값 수가 적었으며, 이는 고오차 안장 영역에서 벗어나는 능력을 확인한다.
• 감쇠가 적용된 잘라낸 뉴턴법은 SGD가 정체된 후 성능 향상을 보이지 않았으며, 이는 제안된 방법이 안장점 평탄한 영역을 탐색하는 데서 뛰어난 우수성을 보임을 강조한다.