[논문 리뷰] On Noisy Negative Curvature Descent: Competing with Gradient Descent for Faster Non-convex Optimization

Mingrui Liu, Tianbao Yang|arXiv (Cornell University)|2017. 09. 25.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 16

한 줄 요약

이 논문은 비볼록 최적화에서 헤시안-벡터 곱 계산 횟수를 줄이기 위해, 최소 고유벡터의 근사 정밀도를 절대 임계값이 아닌 기울기 노름에 비례하도록 설정한 새로운 노이즈가 섞인 음의 곡률 강하 알고리즘을 제안한다. 이 방법은 경사하강법과 경쟁 가능하며, 문헌에서 가장 우수한 복잡도를 갖는 시간 복잡도를 확보하면서도, 표본 크기와 무관한 복잡도를 갖는 확률적 변종을 가능하게 한다.

ABSTRACT

The Hessian-vector product has been utilized to find a second-order stationary solution with strong complexity guarantee (e.g., almost linear time complexity in the problem's dimensionality). In this paper, we propose to further reduce the number of Hessian-vector products for faster non-convex optimization. Previous algorithms need to approximate the smallest eigen-value with a sufficient precision (e.g., $ε_2\ll 1$) in order to achieve a sufficiently accurate second-order stationary solution (i.e., $λ_{\min}( abla^2 f(\x))\geq -ε_2)$. In contrast, the proposed algorithms only need to compute the smallest eigen-vector approximating the corresponding eigen-value up to a small power of current gradient's norm. As a result, it can dramatically reduce the number of Hessian-vector products during the course of optimization before reaching first-order stationary points (e.g., saddle points). The key building block of the proposed algorithms is a novel updating step named the NCG step, which lets a noisy negative curvature descent compete with the gradient descent. We show that the worst-case time complexity of the proposed algorithms with their favorable prescribed accuracy requirements can match the best in literature for achieving a second-order stationary point but with an arguably smaller per-iteration cost. We also show that the proposed algorithms can benefit from inexact Hessian by developing their variants accepting inexact Hessian under a mild condition for achieving the same goal. Moreover, we develop a stochastic algorithm for a finite or infinite sum non-convex optimization problem. To the best of our knowledge, the proposed stochastic algorithm is the first one that converges to a second-order stationary point in {\it high probability} with a time complexity independent of the sample size and almost linear in dimensionality.

연구 동기 및 목표

• 비볼록 최적화에서 제2차 정류점에 도달하기 위해 필요한 헤시안-벡터 곱 계산 횟수를 줄이는 것.
• 수렴 속도에서 경사하강법과 효과적으로 경쟁하면서도 강력한 이론적 복잡도 보장을 유지하는 알고리즘을 개발하는 것.
• 정확도가 낮거나 부분 표본을 취한 헤시안을 약간의 조건 하에 사용해도 제2차 정류점으로의 수렴을 훼손하지 않도록 보장하는 것.
• 유한 또는 무한 합 문제에 대해, 표본 크기와 무관한 시간 복잡도와 거의 선형적인 차원 의존성으로 제2차 정류점으로 수렴하는 확률적 알고리즘을 설계하는 것.
• 낮은 반복 비용을 갖는 노이즈가 섞인 음의 곡률 강하에서 제2차 정류점으로의 수렴에 대한 이론적 보장을 제공하는 것.

제안 방법

• 헤시안의 근사 최소 고유벡터를 활용해 안정점에서 벗어나는 데 효과적인 NCG(노이즈가 섞인 곡률 강하) 단계를 핵심 업데이트 메커니즘으로 도입한다.
• 최소 고유값의 고정밀도 근사(예: ε₂ ≪ 1)가 필요로 하는 것을, 현재 기울기 노름의 거듭제곱 비례로 요구하는 것으로 대체하여, 헤시안-벡터 곱 호출 횟수를 크게 줄인다.
• 헤시안 근사 오차에 대해 약간의 조건을 만족하면, 근사 헤시안(예: 부분 표본 헤시안)을 수용하는 변종을 개발하여 제2차 정류점으로의 수렴을 유지한다.
• 반복마다 부분 표본 기울기와 부분 표본 헤시안의 노이즈가 섞인 음의 곡률만 계산하는 확률적 알고리즘을 제안한다.
• 반복적인 거듭제곱 방법 유사 반복을 통해 최소 고유벡터를 더 낮은 정밀도 요구 조건으로 근사함으로써, 반복당 계산 비용을 낮춘다.
• 경사하강법과 NCG 단계를 적절히 조합하여, 높은 비용이 드는 헤시안 연산을 최소화하면서도 경쟁 가능한 수렴 성능를 확보한다.

실험 결과

연구 질문

• RQ1 최소 고유값 근사 정밀도 요구 조건을 완화함으로써, 비볼록 최적화에서 헤시안-벡터 곱 계산 횟수를 줄일 수 있는가?
• RQ2 노이즈가 섞인 음의 곡률 강하 방법이 이론적 보장을 유지하면서도 경사하강법의 수렴 속도를 능가하거나 동등하게 유지할 수 있는가?
• RQ3 표본 크기와 무관한 복잡도로 제2차 정류점으로 수렴하는, 유한 또는 무한 합 문제를 위한 확률적 알고리즘을 설계할 수 있는가?
• RQ4 정확도가 낮거나 부분 표본을 취한 헤시안을 제2차 최적화에서 효과적으로 사용할 수 있으며, 제2차 정류점으로의 수렴 성능이 떨어지지 않는가?
• RQ5 제2차 정류점으로의 수렴을 보장하기 위해 최소 고유벡터 근사에 필요한 최소 정밀도는 얼마인가?

주요 결과

• 제안된 알고리즘은 문헌에서 알려진 제2차 정류점 도달 시간 복잡도를 유지하지만, 반복당 계산 비용이 더 낮을 수 있다.
• 최소 고유값 근사 정밀도 요구 조건을 ε₂ ≪ 1에서 현재 기울기 노름의 작은 거듭제곱으로 낮추어, 헤시안-벡터 곱 사용 횟수를 극적으로 줄였다.
• 확률적 변종은 반복마다 부분 표본 기울기와 부분 표본 헤시안의 노이즈가 섞인 음의 곡률만 계산하여, 표본 크기와 무관한 복잡도로 수렴한다.
• 이 알고리즘은 문제 차원에 대해 거의 선형이고 표본 크기와 무관한 시간 복잡도로 제2차 정류점으로 수렴하는 것으로 알려진 첫 번째 확률적 방법이다.
• 이론적 분석 결과, 근사 헤시안을 사용하더라도, 헤시안 근사 오차에 대해 약간의 조건을 만족하면 제2차 정류점으로의 수렴이 유지됨을 보였다.
• NCG 단계는 낮은 헤시안-벡터 곱 횟수로 안정점을 효과적으로 회피함으로써, 경사하강법과의 경쟁에서 유리한 위치를 확보한다.