[논문 리뷰] A Stochastic Trust Region Method for Non-convex Minimization

Zebang Shen, Pan Zhou외 2명|arXiv (Cornell University)|2019. 03. 04.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 8

한 줄 요약

이 논문은 비볼록 유한합 최소화 문제를 위한 샘플 효율적인 확률적 트러스트 영역(STR) 알고리즘을 제안한다. 새로운 헤시안 추정기와 비정확한 그래디언트/헤시안 근사치를 활용하여, $Ø(√n/ϵ^{1.5})$의 확률적 헤시안 오라클 복잡도를 달성하며, 이는 이전 작업 대비 $Ø(n^{1/6})$ 향상이다. 이 방법은 $Ø(1/k^{2/3})$ 수렴 속도를 확보하고, 더 낮은 계산 비용으로 $(ϵ,\sqrt{\u03f5})$-근사 두 번째 순서 정류점에 도달한다.

ABSTRACT

We target the problem of finding a local minimum in non-convex finite-sum minimization. Towards this goal, we first prove that the trust region method with inexact gradient and Hessian estimation can achieve a convergence rate of order $\mathcal{O}(1/{k^{2/3}})$ as long as those differential estimations are sufficiently accurate. Combining such result with a novel Hessian estimator, we propose the sample-efficient stochastic trust region (STR) algorithm which finds an $(ε, \sqrtε)$-approximate local minimum within $\mathcal{O}({\sqrt{n}}/{ε^{1.5}})$ stochastic Hessian oracle queries. This improves state-of-the-art result by $\mathcal{O}(n^{1/6})$. Experiments verify theoretical conclusions and the efficiency of STR.

연구 동기 및 목표

• 비볼록 유한합 최소화 문제에서 $(\epsilon,\sqrt{\epsilon})$-근사 두 번째 순서 정류점을 효율적으로 찾을 수 있는 확률적 트러스트 영역 방법을 개발하는 것.
• 특히 대규모 설정에서 기존의 큐빅 정규화 및 트러스트 영역 방법에 비해 확률적 헤시안 오라클 복잡도를 감소시키는 것.
• 트러스트 영역 프레임워크와 함께 비정확한 그래디언트 및 헤시안 추정치를 조합하여 향상된 수렴 속도를 달성하는 것.
• 낮은 평균 오라클 비용으로도 높은 정확도를 유지하는 새로운 헤시안 추정기를 설계하는 것.
• 실제 계산적 트레이드오프를 반영하는 방식으로 제1차 및 제2차 오라클 복잡도를 균형 있게 조절하는 것.

제안 방법

• 이 방법은 목적함수를 제2차 테일러 전개로 근사하고, 단계를 국소 영역 내에 제한하는 트러스트 영역 프레임워크를 사용한다.
• 낮은 확률적 헤시안 오라클 쿼리로도 높은 정확도를 유지하는 새로운 헤시안 추정기를 도입하여 전체 복잡도를 낮춘다.
• 비정확한 그래디언트 및 헤시안 추정치를 사용하며, 충분한 정확도 조건 하에서 수렴이 보장되며, $Ø(1/k^{2/3})$의 전역 수렴 속도를 달성한다.
• 두 가지 변종을 제안한다: STR1은 새로운 헤시안 추정기와 기존 그래디언트 추정기를 사용하여 헤시안 오라클 효율성을 우선시한다; STR2는 그래디언트 및 헤시안 추정을 통합하여 제1차 및 제2차 복잡도를 균형 있게 조절한다.
• 부문 문제는 헤시안과 연관된 카일로프 부분공간에서 랑츠 방법을 사용해 근사적으로 해결한다.
• 이 알고리즘은 문제의 유한합 구조를 활용하도록 설계되어 전체 그래디언트 및 헤시안 계산을 최소화한다.

실험 결과

연구 질문

• RQ1 비볼록 유한합 문제에 대해 기존 큐빅 정규화 및 트러스트 영역 방법에 비해 더 낮은 확률적 헤시안 오라클 복잡도를 달성할 수 있는가?
• RQ2 새로운 헤시안 추정기는 평균 오라클 비용을 낮추면서도 수렴 보장을 유지할 수 있는가?
• RQ3 제1차 및 제2차 오라클 복잡도를 균형 있게 조절하면 실제로 전체 수렴 속도가 향상되는가?
• RQ4 충분한 정확도 조건 하에서 비정확한 그래디언트 및 헤시안 추정치를 사용해도 여전히 $Ø(1/k^{2/3})$ 수렴 속도를 달성할 수 있는가?
• RQ5 제안된 STR 알고리즘은 SVRC 및 Lite-SVRC와 같은 최신 기법들에 비해 헤시안 쿼리 측면에서 더 샘플 효율적인가?

주요 결과

• 제안된 STR 알고리즘은 $Ø(√n/ϵ^{1.5})$의 확률적 헤시안 오라클 복잡도를 달성하며, 기존 최고 성능인 $Ø(n^{2/3}/ϵ^{1.5})$에 비해 $Ø(n^{1/6})$의 요소로 향상된다.
• STR1은 $Ø(√n/ϵ^{1.5})$의 헤시안 오라클 복잡도를 확보하며, 이는 이전 방법들보다 낮고, $ϵ$ 의존성 측면에서 이론적 하한선과 일치한다.
• STR2는 제1차 및 제2차 오라클 복잡도를 종합적으로 고려한 복잡도 $Ø(n^{3/4}/ϵ^{1.5})$를 달성하며, 기존 최고 성능인 $Ø(n^{4/5}/ϵ^{1.5})$를 초월한다.
• 이론적 분석을 통해 비정확한 그래디언트 및 헤시안 추정치를 사용하는 트러스트 영역 방법이 추정치가 충분히 정확할 경우 $Ø(1/k^{2/3})$의 수렴 속도를 달성할 수 있음을 확인하였다.
• 로지스틱 회귀 및 비선형 최소제곱 문제에 대한 실험 결과, STR는 실행 시간과 헤시안 샘플 복잡도 측면에서 TR, ARC, SCR, SVRC, Lite-SVRC보다 더 빠르게 수렴한다.
• 헤시안 샘플 복잡도 측면에서 STR의 수렴 곡선은 더 날카로워서, 이론적으로 예측한 헤시안 쿼리 효율성의 이점을 확인한다.