[논문 리뷰] Stochastic Quasi-Newton Methods for Nonconvex Stochastic Optimization

Xiao Wang, Shiqian Ma외 2명|arXiv (Cornell University)|2016. 07. 05.

Stochastic Gradient Optimization Techniques참고 문헌 45인용 수 16

한 줄 요약

이 논문은 비볼록 스토하스틱 최적화를 위한 확률적 감쇠 L-BFGS(SdLBFGS) 방법을 제안하며, 거의 확실히 정류점으로 수렴하는 일반적인 프레임워크를 활용한다. ε-근사 정류점을 찾는 데 O(ε⁻²)의 SFO 호출 복잡도를 달성하고, 변동성 감소 기법을 통합한 변형(SdLBFGS-VR)을 제안하여 SVM 및 신경망 작업에서 SVRG와 표준 SdLBFGS를 능가한다.

ABSTRACT

In this paper we study stochastic quasi-Newton methods for nonconvex stochastic optimization, where we assume that noisy information about the gradients of the objective function is available via a stochastic first-order oracle (SFO). We propose a general framework for such methods, for which we prove almost sure convergence to stationary points and analyze its worst-case iteration complexity. When a randomly chosen iterate is returned as the output of such an algorithm, we prove that in the worst-case, the SFO-calls complexity is $O(ε^{-2})$ to ensure that the expectation of the squared norm of the gradient is smaller than the given accuracy tolerance $ε$. We also propose a specific algorithm, namely a stochastic damped L-BFGS (SdLBFGS) method, that falls under the proposed framework. {Moreover, we incorporate the SVRG variance reduction technique into the proposed SdLBFGS method, and analyze its SFO-calls complexity. Numerical results on a nonconvex binary classification problem using SVM, and a multiclass classification problem using neural networks are reported.

연구 동기 및 목표

• 스토하스틱 제1차 오라클(SFO)을 통해 오직 노이즈가 섞인 기울기 추정치만 제공되는 비볼록 스토하스틱 최적화 문제에 도전한다.
• 약한 조건 하에 전역 수렴이 보장되는 스토하스틱 쿼اسي-뉴턴 방법의 일반적 프레임워크를 개발한다.
• 볼록성 조건이 필요 없이 헤시안 근사의 양의 정부호성을 유지하는 감쇠 L-BFGS 변형(SdLBFGS)을 설계한다.
• SdLBFGS 프레임워크에 변동성 감소(SVRG) 기법을 통합하여 수렴 속도와 안정성을 향상시킨다.
• SVM 및 딥 신경망을 사용한 비볼록 분류 문제에서 제안된 방법의 효능을 입증한다.

제안 방법

• 감쇠 BFGS 업데이트를 사용하여 헤시안 근사의 양의 정부호성을 유지하는 확률적 쿼اسي-뉴턴 프레임워크를 제안한다.
• 완전한 기울기 계산을 피하기 위해 매 반복마다 노이즈가 섞인 기울기 추정치를 확률적 제1차 오라클(SFO)을 통해 확보한다.
• 커브처 조건 $ s_{k-1}^T y_{k-1} < 0 $ 가 위반되더라도 헤시안 근사가 양의 정부호로 유지되도록 감쇠 기법을 통합한다.
• SdLBFGS 방법과 SVRG 변동성 감소 기법을 조합하여 SdLBFGS-VR을 도입하며, 주기적으로 전체 기울기를 계산한다.
• SdLBFGS-VR에서는 일정한 스텝 사이즈를 사용하고, SdLBFGS에서는 점점 감소하는 스텝 사이즈를 사용하여 수렴을 보장하며, SVRG의 외부 루프 구조를 활용해 기울기 변동성을 감소시킨다.
• 출력으로 무작위 선택된 반복값을 사용하고, 최악의 경우 SFO 호출 복잡도에 대한 이론적 분석을 수행한다.

실험 결과

연구 질문

• RQ1 스토하스틱 쿼اسي-뉴턴 방법을 설계하여, SFO 접근만으로도 비볼록 스토하스틱 최적화에서 정류점으로 거의 확실히 수렴할 수 있는가?
• RQ2 그러한 방법이 ε-근사 정류점을 달성하기 위해 필요한 최악의 경우 SFO 호출 복잡도는 무엇인가?
• RQ3 감쇠 L-BFGS 업데이트는 볼록성 조건 없이도 헤시안 근사의 양의 정부호성을 어떻게 유지하는가?
• RQ4 SdLBFGS 프레임워크에 변동성 감소(SVRG)를 통합하면 수렴 속도와 안정성이 향상되는가?
• RQ5 실제 비볼록 분류 문제에서 SdLBFGS-VR의 성능은 SVRG와 표준 SdLBFGS보다 어떻게 비교되는가?

주요 결과

• 적절한 스텝 사이즈 조건 하에서 제안된 SdLBFGS 방법은 거의 확실히 정류점으로 수렴한다.
• E[∥∇f(x)∥²] ≤ ε 를 달성하기 위한 최악의 경우 SFO 호출 복잡도는 O(ε⁻²)이며, 이는 스토하스틱 기울기 방법에서 알려진 최고 수준의 복잡도와 일치한다.
• 변동성 감소 기법을 통합한 SdLBFGS-VR은 RCV1 및 MNIST 데이터셋에서 SVRG와 표준 SdLBFGS를 일관되게 능가한다.
• 수치적 결과는 SdLBFGS-VR이 배치 크기와 메모리 크기에 대해 상대적으로 민감도가 낮으며, 더 큰 메모리 크기일수록 성능이 약간 향상됨을 보여준다.
• 같은 스텝 사이즈 조건에서 SdLBFGS-VR은 SVRG보다 더 나은 목적 함수 값 감소를 달성하며, 일정한 스텝 사이즈를 사용하는 SdLBFGS보다 더 안정적이다.
• 더 큰 메모리 크기 또는 배치 크기를 사용할 경우, $ s_{k-1}^T y_{k-1} < 0 $ 가 성립하는 반복 수가 크게 감소하여, 더 나은 커브처 추정이 이루어짐을 시사한다.