[논문 리뷰] A Stochastic Quasi-Newton Method for Large-Scale Optimization

Richard H. Byrd, Samantha Hansen외 2명|arXiv (Cornell University)|2014. 01. 27.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 46

한 줄 요약

이 논문은 전체 배치 헤시안 계산이 비현실적인 대규모 최적화 문제를 위해, 노이즈가 많은 기울기 차이 대신 주기적으로 부분 샘플링된 헤시안-벡터 곱을 통해 신뢰할 수 있는 곡률 정보를 통합함으로써 확률적 경사하강법을 개선한 확률적 쿼드라틱 뉴턴 방법을 제안한다. 이 방법은 제한된 메모리 BFGS 업데이트를 사용하며 안정적이고 확장 가능한 헤시안 근사치를 제공하여, 기존의 확률적 쿼드라틱 뉴턴 방법들보다 더 빠른 수렴 속도와 더 나은 성능을 보인다.

ABSTRACT

The question of how to incorporate curvature information in stochastic approximation methods is challenging. The direct application of classical quasi- Newton updating techniques for deterministic optimization leads to noisy curvature estimates that have harmful effects on the robustness of the iteration. In this paper, we propose a stochastic quasi-Newton method that is efficient, robust and scalable. It employs the classical BFGS update formula in its limited memory form, and is based on the observation that it is beneficial to collect curvature information pointwise, and at regular intervals, through (sub-sampled) Hessian-vector products. This technique differs from the classical approach that would compute differences of gradients, and where controlling the quality of the curvature estimates can be difficult. We present numerical results on problems arising in machine learning that suggest that the proposed method shows much promise.

연구 동기 및 목표

• 완전한 배치 헤시안 계산이 불가능한 대규모 머신 러닝 문제를 위한 확장 가능하고 강건한 확률적 쿼드라틱 뉴턴 방법을 개발하는 것.
• 노이즈가 많은 기울기 차이로 인해 발생하는 확률적 쿼드라틱 뉴턴 방법의 곡률 추정 불안정성 문제를 해결하는 것.
• 과도한 계산 비용 없이도 확률적 근사 설정에서 이차 정보를 효율적으로 통합할 수 있도록 하는 것.
• 헤시안-벡터 곱 계산을 분할하여 비용을 분산 처리함으로써, 강력한 볼록 함수에 대해 전역 수렴을 확보하면서도 각 반복의 비용을 낮추는 것.
• 대규모 학습 문제에서 기존의 oLBFGS와 같은 확률적 쿼드라틱 뉴턴 방법들보다 수렴 속도와 강건성 면에서 뛰어난 성능을 달성하는 것.

제안 방법

• 이 방법은 각 반복에서 $ O(n) $ 연산으로 역헤시안 근사치 $ H_k $ 를 유지하기 위해 제한된 메모리 BFGS 업데이트 공식을 사용한다.
• 곡률 정보는 매 반복마다 기울기 차이를 사용하는 대신, 정기적인 간격 $ L $ 에서 부분 샘플링된 헤시안-벡터 곱 $ \nabla^2 F(w) v $ 를 통해 확보한다.
• 헤시안-벡터 곱은 크기가 $ b_H $ 인 미니배치를 사용하여 계산되며, 노이즈를 통제함으로써 안정적이고 균일한 곡률 추정치를 확보한다.
• 알고리즘은 점점 감소하는 스텝 사이즈 $ \alpha^k = \beta / k $ 를 사용하여 표준 볼록성 가정 하에 수렴을 보장한다.
• 헤시안-벡터 계산에서 공통된 샘플링을 통해 구현함으로써, 기울기 차이 기반 헤시안 추정의 불안정성을 방지한다.
• 역헤시안 근사치 $ H_k $ 는 매 $ L $ 번째 반복마다만 업데이트되며, 이는 헤시안-벡터 곱 계산 비용을 분산 처리하면서도 효과적인 곡률 정보를 유지한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 기울기 차이에 의존하지 않고도 확률적 최적화에서 신뢰할 수 있는 곡률 정보를 추출할 수 있는가?
• RQ2 헤시안-벡터 곱을 어떻게 효과적으로 활용하여 확률적 환경에서 안정적이고 확장 가능한 쿼드라틱 뉴턴 방법을 구축할 수 있는가?
• RQ3 헤시안-벡터 곱을 통해 전체 헤시안 근사치를 통합할 경우, 대각 행렬 또는 헤시안 스케일링 없이도 확률적 쿼드라틱 뉴턴 방법에서 더 빠른 수렴을 이룰 수 있는가?
• RQ4 헤시안-벡터 곱 계산 빈도와 곡률 근사치의 품질 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 제안된 방법은 확률적 설정에서 전역 수렴을 달성할 수 있으며, 동시에 낮은 각 반복 복잡도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 로빈스-몬로의 확률적 경사하강법보다 더 빠른 수렴을 달성하며, 곡률 정보가 최적화 성능을 크게 향상시킨다는 것을 입증한다.
• 수치 실험을 통해 대규모 머신 러닝 문제에서 최첨단의 확률적 쿼드라틱 뉴턴 방법인 oLBFGS를 능가하는 성능을 보였다.
• 정기적인 간격으로 헤시안-벡터 곱을 사용함으로써 안정적인 곡률 추정치를 확보하였으며, 기울기 차이 방법에서 발생하는 노이즈 증폭 문제를 피할 수 있었다.
• 표준 가정 하에 강력한 볼록 함수에 대해 전역 수렴을 유지하였으며, 효과적인 헤시안 근사치 덕분에 수렴 속도 향상이 관찰되었다.
• 헤시안-벡터 곱에 대해 중간 크기의 배치 크기 $ b_H $ 와 간격 $ L = 20 $ 를 사용함으로써 계산 비용을 분산 처리하여 대규모 문제에 대해 실용적인 방법이 되었다.
• 조건 $ s_t^T y_t > 0 $ 가 유지되는 한, 비볼록 설정에서도 알고리즘이 효과적으로 작동함을 확인하여 더 넓은 적용 가능성을 시사한다.