[논문 리뷰] Stochastic Variance-Reduced Cubic Regularized Newton Method

Dongruo Zhou, Pan Xu외 1명|arXiv (Cornell University)|2018. 02. 13.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 23

한 줄 요약

이 논문은 비볼록 최적화를 위한 새로운 반복적 분산 감소(stochastic variance-reduced) 입체 정규화 뉴턴 방법(SVR Cubic)을 제안하며, 새로운 반정적 확률적 경사 및 헤시안 추정기들을 도입하여 비볼록 최적화에서 더 나은 두 번째 순서 오라클 복잡도를 달성한다. 이 방법은 O(n + n⁴/⁵/ϵ³/²)의 두 번째 순서 오라클 호출로 (ϵ, √ϵ)-근사 국소 최소값을 달성하며, 고정밀도 영역에서 기존의 입체 정규화 및 부분 샘플링 변형보다 뛰어난 성능을 보인다.

ABSTRACT

We propose a stochastic variance-reduced cubic regularized Newton method for non-convex optimization. At the core of our algorithm is a novel semi-stochastic gradient along with a semi-stochastic Hessian, which are specifically designed for cubic regularization method. We show that our algorithm is guaranteed to converge to an $(ε,\sqrtε)$-approximately local minimum within $ ilde{O}(n^{4/5}/ε^{3/2})$ second-order oracle calls, which outperforms the state-of-the-art cubic regularization algorithms including subsampled cubic regularization. Our work also sheds light on the application of variance reduction technique to high-order non-convex optimization methods. Thorough experiments on various non-convex optimization problems support our theory.

연구 동기 및 목표

• 입체 정규화를 위한 전체 헤시안과 경사의 계산 비용이 높은 문제를 해결하기 위해.
• 특히 고정밀도 설정에서 입체 정규화 방법의 두 번째 순서 오라클 복잡도를 향상시키기 위해.
• 특히 입체 정규화를 위한 고차원 비볼록 최적화에 분산 감소 기법을 적용하기 위해.
• 입체 하위문제의 정확하지 않은 해를 허용하는 조건 하에서 수렴 보장을 확립하기 위해.

제안 방법

• 입체 정규화 하위문제에 특화된 새로운 반정적 확률적 경사 및 헤시안 추정기를 도입한다.
• Johnson & Zhang(2013)의 영감을 얻어, 확률적 헤시안 및 경사 추정의 분산을 줄이기 위해 분산 감소 기법을 적용한다.
• 작은 배치 샘플링 전략을 사용하여 근사 헤시안과 경사를 계산함으로써 전체 헤시안 평가 횟수를 줄인다.
• 외부 루프는 전체 경사 및 헤시안 추정을 사용하고, 내부 루프는 분산 감소된 확률적 추정을 사용하는 이중 루프 구조를 설계한다.
• 각 반복에서 입체 하위문제를 근사적으로 해결하기 위해 랑츠 유형 방법을 적용한다.
• 개선된 오라클 복잡도를 유지하면서 (ϵ, √ϵ)-근사 국소 최소값으로의 이론적 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 분산 감소 기법은 입체 정규화와 같은 두 번째 순서 비볼록 최적화 방법에 효과적으로 적용될 수 있는가?
• RQ2 수렴 속도를 희생시키지 않고 입체 정규화의 두 번째 순서 오라클 복잡도를 줄일 수 있는가?
• RQ3 입체 하위문제를 정확하게 해결하지 못할 경우에도 제안된 방법이 수렴 보장을 유지할 수 있는가?
• RQ4 오라클 복잡도와 런타임 측면에서 제안된 알고리즘이 부분 샘플링 및 표준 입체 정규화와 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 SVR Cubic 방법은 O(n + n⁴/⁵/ϵ³/²)의 두 번째 순서 오라클 호출로 (ϵ, √ϵ)-근사 국소 최소값을 달성하며, 표준 입체 정규화의 O(n/ϵ³/²) 복잡도보다 향상되었다.
• 원래 입체 정규화 방법 대비 전체 헤시안 및 경사 평가 횟수를 Ω(n¹/⁵)의 요소만큼 줄였다.
• 충분한 조건이 충족될 경우, 입체 하위문제를 정확하게 해결하지 못하더라도 동일한 수렴 속도와 오라클 복잡도를 유지한다.
• a9a, covtype, ijcnn1 데이터셋에 대한 실험 결과, SVR Cubic은 수렴 속도와 런타임 측면에서 Adaptive Cubic, Subsampled Cubic, Stochastic Cubic, Gradient Cubic보다 뛰어나며, 특히 고정밀도 영역에서 두드러진 성능을 보였다.
• 어떤 경우(예: covtype)에서는 에포크 수 측면에선 Adaptive Cubic보다 약간 열등할 수 있으나, CPU 시간 측면에선 뛰어난 성능을 보여, 반복당 효율성이 높다는 것을 시사한다.