[논문 리뷰] A Linearly-Convergent Stochastic L-BFGS Algorithm

Philipp Moritz, Robert Nishihara외 1명|arXiv (Cornell University)|2015. 08. 09.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 78

한 줄 요약

이 논문은 Johnson과 Zhang(2013)의 분산 감소 기법을 스위치 L-BFGS 프레임워크에 통합함으로써 강凸성과 미세한 함수에 대해 선형 수렴를 달성하는 새로운 스토하스틱 L-BFGS 알고리즘을 제안한다. 이 방법은 미니배치 헤시안-벡터 곱과 전체 기울기 재설정을 사용하여 기울기 분산을 줄이며, 감소하는 스텝 사이즈 없이 빠르고 안정적인 수렴을 가능하게 한다.

ABSTRACT

We propose a new stochastic L-BFGS algorithm and prove a linear convergence rate for strongly convex and smooth functions. Our algorithm draws heavily from a recent stochastic variant of L-BFGS proposed in Byrd et al. (2014) as well as a recent approach to variance reduction for stochastic gradient descent from Johnson and Zhang (2013). We demonstrate experimentally that our algorithm performs well on large-scale convex and non-convex optimization problems, exhibiting linear convergence and rapidly solving the optimization problems to high levels of precision. Furthermore, we show that our algorithm performs well for a wide-range of step sizes, often differing by several orders of magnitude.

연구 동기 및 목표

• 강력한 볼록성과 스무스함을 갖춘 함수에 대해, 준-뉴턴 방법의 빠른 수렴 특성을 유지하면서 대규모 문제에 효율적으로 스케일링할 수 있는 스토하스틱 L-BFGS 알고리즘을 설계하기.
• 표준 스토하스틱 L-BFGS의 불안정성과 느린 수렴 문제를 해결하기 위해 전체 기울기 재설정을 통한 기울기 분산 감소를 통해 개선하기.
• 강력한 볼록성과 스무스함 설정에서 제안된 알고리즘의 선형 수렴 속도를 증명하여 감소하는 스텝 사이즈가 필요 없도록 하기.
• 실험적으로 이 알고리즘이 볼록 및 비볼록 문제에서 선형 수렴 및 고정밀 해를 신속히 도출함을 보여주기.

제안 방법

• 기울기와 헤시안 근사에 대해 별도의 미니배치를 사용: $\mathcal{S}$ 는 스위치 기울기 $\nabla f_{\mathcal{S}}$ 를 위한 것이고, $\mathcal{T}$ 는 헤시안-벡터 곱을 위한 것이며, 이를 통해 역헤시안 근사 $H_k$ 를 구성한다.
• 주기적으로 전체 기울기 $\nabla f(w_k)$ 를 계산하고, 이를 통해 $v_t = \nabla f_{\mathcal{S}}(x_t) - \nabla f_{\mathcal{S}}(w_k) + \nabla f(w_k)$ 를 통해 스위치 기울기 추정치를 보정함으로써 분산 감소를 구현한다.
• 업데이트 규칙은 $w_{k+1} = w_k - \eta_k H_k v_k$ 를 따르며, 여기서 $H_k$ 는 L-BFGS 메모리 업데이트를 사용해 갱신되는 제한된 기억력 BFGS 근사이다.
• 헤시안 근사의 고유값이 유한하게 유지되도록 트레이스 및 행렬식의 경계를 통해 안정성과 수렴 보장을 확보한다.
• 수렴 분석은 스무스함과 강력한 볼록성 가정을 바탕으로 보정된 기울기 추정치의 기대 제곱노름을 경계하는 데 의존한다.
• 초기값이 최적해에 위치해 있더라도 기울기 추정치의 분산 누적이 방지되도록 설계되어 있어 선형 수렴를 유지한다.

실험 결과

연구 질문

• RQ1 감소하는 스텝 사이즈가 필요 없이 스토하스틱 L-BFGS 알고리즘이 선형 수렴를 달성할 수 있는가?
• RQ2 대규모 최적화에서 준-뉴턴 방법에 대해 스위치 기울기 추정치의 분산을 효과적으로 줄일 수 있는 방법은 무엇인가?
• RQ3 L-BFGS와 분산 감소 기법을 조합하면 볼록 및 비볼록 문제에서 더 빠른 수렴를 이룰 수 있는가?
• RQ4 다양한 스텝 사이즈, 특히 수개의 주요 자리 수에 걸쳐 수렴 성능이 어떻게 변화하는가?

주요 결과

• 제안된 알고리즘은 강력한 볼록성과 스무스함을 갖춘 함수에 대해 선형 수렴 속도를 달성하며, 최적해에 초기화되어 있어도 수렴 보장이 가능하다.
• 실제로 대규모 볼록 및 비볼록 문제에서 선형 수렴를 나타내며, 고정밀 해를 매우 신속하게 도출한다.
• 수많은 스텝 사이즈 범위에서 뛰어난 수치적 안정성을 유지하며, 종종 수개의 주요 자리 수에 걸쳐 차이가 나는 경우에도 잘 작동한다.
• 이론적 분석은 분산 감소 기반 기울기 추정치가 오차 성장을 유한하게 유지함을 확인하여, 감소하는 스텝 사이즈 없이도 선형 수렴를 가능하게 함을 입증한다.
• 헤시안 근사에서 조건수는 유한하게 유지되어 반복 과정에서 안정적이고 효율적인 업데이트를 보장한다.
• 실험 결과는 이 알고리즘이 곡률 정보가 핵심적인 불량 조건 문제에서 표준 스토하스틱 1차 방법보다 뛰어난 성능을 보임을 보여준다.