[논문 리뷰] Stochastic Recursive Variance-Reduced Cubic Regularization Methods.

Dongruo Zhou, Quanquan Gu|arXiv (Cornell University)|2019. 01. 01.

Stochastic Gradient Optimization Techniques인용 수 2

한 줄 요약

이 논문은 비볼록 유한합 최적화에서 $(\epsilon, \sqrt{\epsilon})$-근사 국소 최소값을 찾는 데 있어 기울기 및 헤시안 복잡도를 향상시키는 스토하스틱 재귀 분산 감소 입체 정규화 방법인 SRVRC를 제안한다. 또한, 스토하스틱 기울기와 헤시안-벡터 곱만을 사용하는 헤시안-프리 버전인 SRVRC$_{\text{free}}$를 도입하여 $\tilde{O}(dn\epsilon^{-2} \land d\epsilon^{-3})$의 런타임 복잡도를 달성하며, Tripuraneni 등(2018)과 같은 이전 방법들을 능가한다.

ABSTRACT

Stochastic Variance-Reduced Cubic regularization (SVRC) algorithms have received increasing attention due to its improved gradient/Hessian complexities (i.e., number of queries to stochastic gradient/Hessian oracles) to find local minima for nonconvex finite-sum optimization. However, it is unclear whether existing SVRC algorithms can be further improved. Moreover, the semi-stochastic Hessian estimator adopted in existing SVRC algorithms prevents the use of Hessian-vector product-based fast cubic subproblem solvers, which makes SVRC algorithms computationally intractable for high-dimensional problems. In this paper, we first present a Stochastic Recursive Variance-Reduced Cubic regularization method (SRVRC) using a recursively updated semi-stochastic gradient and Hessian estimators. It enjoys improved gradient and Hessian complexities to find an $(\epsilon, \sqrt{\epsilon})$-approximate local minimum, and outperforms the state-of-the-art SVRC algorithms. Built upon SRVRC, we further propose a Hessian-free SRVRC algorithm, namely SRVRC$_{ ext{free}}$, which only requires stochastic gradient and Hessian-vector product computations, and achieves $ ilde O(dn\epsilon^{-2} \land d\epsilon^{-3})$ runtime complexity, where $n$ is the number of component functions in the finite-sum structure, $d$ is the problem dimension, and $\epsilon$ is the optimization precision. This outperforms the best-known runtime complexity $ ilde O(d\epsilon^{-3.5})$ achieved by stochastic cubic regularization algorithm proposed in Tripuraneni et al. 2018.

연구 동기 및 목표

• 기존의 스토하스틱 분산 감소 입체 정규화(SVRC) 알고리즘의 계산 효율성과 확장성 측면에서의 한계를 해결한다.
• 이전의 SVRC 방법에서 반스토하스틱 헤시안 추정기로 인해 발생하는 고차원 문제의 계산 불가능성을 해결한다.
• 기울기와 헤시안의 재귀적 추정 전략을 개발하여 오ракูล 복잡도를 감소시키고 수렴 속도를 향상시킨다.
• 스토하스틱 기울기와 헤시안-벡터 곱만을 사용하는 헤시안-프리 버전을 설계하여 고차원 환경에서의 실용성을 향상시킨다.
• Tripuraneni 등(2018)이 도출한 최고의 $\tilde{O}(d\epsilon^{-3.5})$ 결과보다 향상된 런타임 복잡도를 달성한다.

제안 방법

• 재귀적으로 업데이트되는 반스토하스틱 기울기 및 헤시안 추정기를 사용하는 스토하스틱 재귀 분산 감소 입체 정규화 방법인 SRVRC를 제안한다.
• 기울기 및 헤시안 추정의 분산을 줄이기 위해 재귀적 업데이트를 적용하여, 비볼록 유한합 문제에서 향상된 수렴 성질을 확보한다.
• 전체 헤시안 행렬 계산을 헤시안-벡터 곱 연산으로 대체하는 헤시안-프리 버전인 SRVRC$_{\text{free}}$를 도입한다.
• 전체 헤시안 행렬이 필요 없어지므로, 가속 입체 하위문제 해법을 활용할 수 있어 고차원 문제에 대한 확장성을 확보한다.
• 기울기 및 헤시안 오라클 복잡도를 낮게 유지하면서도 $(\epsilon, \sqrt{\epsilon})$-근사 국소 최소값으로의 수렴을 보장하도록 알고리즘을 설계한다.
• 재귀적 분산 감소와 헤시안-벡터 곱 액세스를 조합하여 $\tilde{O}(dn\epsilon^{-2} \land d\epsilon^{-3})$의 런타임 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 기존의 SVRC 알고리즘이 기울기 및 헤시안 오라클 복잡도 측면에서 추가로 향상시킬 수 있는가?
• RQ2 반스토하스틱 헤시안 추정기의 사용을 피함으로써 입체 정규화 방법에서 헤시안-벡터 곱 기반의 빠른 해법을 가능하게 할 수 있는가?
• RQ3 스토하스틱 기울기와 헤시안-벡터 곱만을 이용할 수 있을 때, 비볼록 유한합 최적화의 달성 가능한 런타임 복잡도는 무엇인가?
• RQ4 재귀적 분산 감소 기법이 입체 정규화 프레임워크에 효과적으로 확장되어 수렴 속도를 향상시킬 수 있는가?
• RQ5 제안된 헤시안-프리 방법은 복잡도 및 실용적 확장성 측면에서 최신 기법과 비교하여 어떻게 성능을 냈는가?

주요 결과

• SRVRC는 $(\epsilon, \sqrt{\epsilon})$-근사 국소 최소값을 찾는 데 있어 기존 SVRC 알고리즘보다 기울기 및 헤시안 복잡도를 향상시킨다.
• 제안된 SRVRC$_{\text{free}}$ 알고리즘은 $\tilde{O}(dn\epsilon^{-2} \land d\epsilon^{-3})$의 런타임 복잡도를 달성하며, Tripuraneni 등(2018)이 도출한 최고의 $\tilde{O}(d\epsilon^{-3.5})$ 복잡도보다 뛰어나다.
• 전체 헤시안 계산을 헤시안-벡터 곱으로 대체함으로써, SRVRC$_{\text{free}}$는 고차원 환경에서 효율적이고 확장 가능한 최적화를 가능하게 한다.
• 기울기 및 헤시안의 재귀적 추정은 분산을 효과적으로 감소시켜, 비용이 많이 드는 헤시안 행렬 저장 없이도 더 빠른 수렴을 이끈다.
• 이 방법은 $(\epsilon, \sqrt{\epsilon})$-근사 국소 최소값으로의 수렴에 대한 이론적 보장을 유지하면서도 계산 효율성을 크게 향상시킨다.
• 헤시안-프리 버전은 전체 헤시안 행렬 계산이 스토하스틱 입체 정규화에서 최신 기술 복잡도를 달성하는 데 필수적이지 않음을 보여준다.