[논문 리뷰] A Second Order Method for Nonconvex Optimization

Santiago Paternain, Aryan Mokhtari외 1명|arXiv (Cornell University)|2017. 07. 25.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 2

한 줄 요약

이 논문은 뉴턴 방법을 수정하여 음의 헤시안 고유값을 그 절댓값으로 대체함으로써 비볼록 최적화에서 안장점에서의 효율적 탈출을 가능하게 하는 고계 최적화 방법을 제안한다. 이는 최대 $1 + \log_{3/2}(\delta/2\varepsilon)$ 반복 이내에 안장점 탈출을 보장하며, $O(\log(1/p) + \log(1/\varepsilon))$ 반복 이내에 확률 $1-p$로 국소 최솟값으로 수렴한다.

ABSTRACT

Machine learning problems such as neural network training, tensor decomposition, and matrix factorization, require local minimization of a nonconvex function. This local minimization is challenged by the presence of saddle points, of which there can be many and from which descent methods may take inordinately large number of iterations to escape. This paper presents a second-order method that modifies the update of Newton's method by replacing the negative eigenvalues of the Hessian by their absolute values and uses a truncated version of the resulting matrix to account for the objective's curvature. The method is shown to escape saddles in at most $1 + \log_{3/2} (\delta/2\varepsilon)$ iterations where $\varepsilon$ is the target optimality and $\delta$ characterizes a point sufficiently far away from the saddle. This base of this exponential escape is $3/2$ independently of problem constants. Adding classical properties of Newton's method, the paper proves convergence to a local minimum with probability $1-p$ in $O\left(\log(1/p)) + O(\log(1/\varepsilon) ight)$ iterations.

연구 동기 및 목표

• 신경망 학습 및 행렬 분해와 같은 문제에서 안장점으로 인한 수렴 속도 저하 문제를 해결하기 위해.
• 헤시안의 음의 고유값을 수정함으로써 안장점에서의 탈출을 향상시키는 뉴턴 방법의 수정을 개발하기 위해.
• 소수의 반복 횟수 내에 높은 확률로 국소 최솟값으로 수렴하는 것을 달성하기 위해.
• 문제 특성 상수에 의존하지 않는 반복 복잡도에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 헤시안의 음의 고유값을 절댓값으로 대체함으로써 뉴턴 업데이트를 수정함으로써, 안장점 근처에서도 내림방향을 보장한다.
• 정확성과 계산 비용의 균형을 위해 수정된 헤시안의 잘라낸 버전을 사용하여 곡률을 근사한다.
• 고유값 조정을 통해 정규화 효과를 구현함으로써, 안장 영역에서의 탈출 속도를 향상시킨다.
• 기본 가정 하에 수렴성을 분석하며, 반복 횟수는 목표 정확도 $\varepsilon$와 실패 확률 $p$의 로그 함수로 유계된다.
• 뉴턴 방법의 특성과 안장점 탈출 메커니즘을 결합하여 국소 최솟값으로의 전역 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 이론적 수렴 보장을 갖는 고계 방법을 설계하여 비볼록 최적화에서 안장점에서 효율적으로 탈출할 수 있는가?
• RQ2 수정된 뉴턴 유형 방법을 사용할 때 안장점에서 탈출하기 위한 최소 반복 횟수는 얼마인가?
• RQ3 반복 복잡도는 목표 정확도 $\varepsilon$와 실패 확률 $p$에 대해 어떻게 스케일링되는가?
• RQ4 메서드는 안장점 근처에서의 빠른 수렴을 유지하면서도 높은 확률로 국소 최솟값으로 수렴할 수 있는가?

주요 결과

• 메서드는 최대 $1 + \log_{3/2}(\delta/2\varepsilon)$ 반복 이내에 안장점에서 탈출하며, $\delta$는 안장점에서의 초기 거리, $\varepsilon$는 목표 최적성이다.
• 로그 탈출 비율의 밑은 $3/2$이며, 문제 특성 상수에 독립적이므로 다양한 비볼록 문제에서 견고한 성능을 보장한다.
• 확률 $1-p$로 국소 최솟값으로 수렴하는 데 $O(\log(1/p) + \log(1/\varepsilon))$ 반복이 소요된다.
• 메서드는 뉴턴 방법의 빠른 국소 수렴 성질을 유지하면서도, 안장점 근처에서의 한계를 극복한다.
• 이론적 분석은 수정된 헤시안 업데이트가 충분한 내림을 보장하고, 안장점에서 장기적인 정체를 피할 수 있음을 확인한다.