[논문 리뷰] Global Convergence of Online Limited Memory BFGS

Aryan Mokhtari, Alejandro Ribeiro|arXiv (Cornell University)|2014. 09. 06.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 132

한 줄 요약

이 논문은 희소 최적화 설정에서 온라인 제한 메모리 BFGS(oL-BFGS) 방법에 대해 전역 수렴을 확립한다. 헤시안 고유값이 유계일 조건 하에서 최적 해로 거의 확실히 수렴함을 증명한다. 이 방법은 곡률을 근사하기 위해 확률적 그래디언트를 사용하며, 헤시안 유계 조건을 만족하는 스텝 사이즈 파rameter 조건을 충족할 경우, SGD보다 수렴 속도와 효율성이 뛰어나다.

ABSTRACT

Global convergence of an online (stochastic) limited memory version of the Broyden-Fletcher- Goldfarb-Shanno (BFGS) quasi-Newton method for solving optimization problems with stochastic objectives that arise in large scale machine learning is established. Lower and upper bounds on the Hessian eigenvalues of the sample functions are shown to suffice to guarantee that the curvature approximation matrices have bounded determinants and traces, which, in turn, permits establishing convergence to optimal arguments with probability 1. Numerical experiments on support vector machines with synthetic data showcase reductions in convergence time relative to stochastic gradient descent algorithms as well as reductions in storage and computation relative to other online quasi-Newton methods. Experimental evaluation on a search engine advertising problem corroborates that these advantages also manifest in practical applications.

연구 동기 및 목표

• 대규모 머신러닝 목표 함수를 가진 희소 최적화 문제에 대해 온라인 제한 메모리 BFGS(oL-BFGS) 방법의 전역 수렴을 확립하는 것.
• 표본 함수의 헤시안 고유값이 유계일 경우, 결정력과 추적값이 유계인 곡률 근사 행렬의 수렴을 보장하는 데 충분한 조건임을 보여주는 것.
• 스텝 사이즈 수열과 헤시안 유계 조건에 대한 온당한 가정 하에서 oL-BFGS가 거의 확실히 최적 해로 수렴함을 보여주는 것.
• 합성 SVM 데이터와 실세계 검색 엔진 광고 문제에 대한 수치 실험을 통해 이론적 이점을 검증하는 것.

제안 방법

• 이 방법은 BFGS 준뉴턴 프레임워크를 온라인 확률적 설정으로 확장하여, 내림방향으로 확률적 그래디언트를 사용하고 곡률 근사를 수행한다.
• 메모리와 반복당 계산 비용을 줄이기 위해 제한 메모리 구조를 사용하며, 낮은 질서의 헤시안 근사치를 유지한다.
• 표본 함수의 헤시안 고유값이 유계일 경우, 곡률 근사 행렬의 결정력과 추적이 모두 유계임을 보였다.
• 스텝 사이즈 규칙으로 $\epsilon_t = \epsilon_0 T_0 / (T_0 + t)$를 사용하며, $2\epsilon_0 T_0 / C > 1$ 조건을 만족할 경우 수렴 보장된다.
• 이론적 분석은 리아푸노프 함수와 재귀 부등식을 사용하여 기대 최적성 갭 $\mathbb{E}[F(\mathbf{w}_t)] - F(\mathbf{w}^*)$ 를 유계로 제한한다.
• 헤시안 유계 조건과 스텝 사이즈 파rameter에 의존하는 비율로 선형적으로 감소하는 재귀적 경계를 통해 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 표본 함수의 헤시안 고유값이 유계일 경우, 온라인 제한 메모리 BFGS 방법이 희소 최적화에서 전역 수렴을 보장할 수 있는가?
• RQ2 헤시안 고유값이 유계일 경우, 확률적 그래디언트 업데이트 하에서 곡률 근사 행렬이 잘 조절된 상태를 유지하는가?
• RQ3 oL-BFGS 방법은 대규모 머신러닝 문제에서 SGD보다 더 빠른 수렴을 달성할 수 있는가?
• RQ4 스텝 사이즈 수열에 어떤 조건이 필요하면 거의 확실히 최적 해로 수렴하는가?
• RQ5 oL-BFGS의 이론적 이점은 합성 데이터 외의 실세계 응용에서 실제로 나타나는가?

주요 결과

• 헤시안 고유값이 $m > 0$ 과 $M < ∞$ 사이에 유계일 경우, 최적 해로 거의 확실히 수렴함을 증명하였다.
• oL-BFGS에서 사용하는 곡률 근사 행렬은 결정력과 추적이 모두 유계이며, 이는 수렴 안정성에 필수적이다.
• 스텝 사이즈 조건 $2\epsilon_0 T_0 / C > 1$ 가 만족될 경우, 기대 최적성 갭 $\mathbb{E}[F(\mathbf{w}_t)] - F(\mathbf{w}^*)$ 는 선형 속도로 감소한다.
• 합성 SVM 데이터에 대한 수치 실험 결과, oL-BFGS는 SGD 및 기타 온라인 준뉴턴 방법보다 수렴 시간을 줄였다.
• 실세계 검색 엔진 광고 과제에서 oL-BFGS는 경쟁 방법보다 더 빠른 수렴 속도와 낮은 메모리 및 계산 비용을 달성했다.
• 이 방법은 불량 조건과 양호 조건 문제 모두에서 뛰어난 성능을 보였으며, SGD보다 수렴 속도는 더 빠르고 메모리 사용량은 낮게 유지했다.