[논문 리뷰] Stochastic Block BFGS: Squeezing More Curvature out of Data

Robert M. Gower, Donald Goldfarb외 1명|arXiv (Cornell University)|2016. 03. 31.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 10

한 줄 요약

이 논문은 스케칭을 통해 헤시안 근사에서 더 풍부한 곡률 정보를 추출함으로써 스케줄링 최적화를 향상시키는 새로운 제한 메모리 준뉴턴 방법인 Stochastic Block BFGS를 제안한다. 무작위 낮은 랭크 행렬로 정의된 스케치된 해공간에 이전의 역헤시안 추정치를 투영함으로써, 선형 수렴성을 달성하고 대규모 로지스틱 회귀 문제에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

We propose a novel limited-memory stochastic block BFGS update for incorporating enriched curvature information in stochastic approximation methods. In our method, the estimate of the inverse Hessian matrix that is maintained by it, is updated at each iteration using a sketch of the Hessian, i.e., a randomly generated compressed form of the Hessian. We propose several sketching strategies, present a new quasi-Newton method that uses stochastic block BFGS updates combined with the variance reduction approach SVRG to compute batch stochastic gradients, and prove linear convergence of the resulting method. Numerical tests on large-scale logistic regression problems reveal that our method is more robust and substantially outperforms current state-of-the-art methods.

연구 동기 및 목표

• 기존의 스케줄링 준뉴턴 방법이 단일 헤시안-벡터 곱만을 사용해 부족한 곡률 정보를 캡처한다는 한계를 해결한다.
• 무작위 스케칭을 통해 다수의 곡률 방향을 활용하는 더 유연하고 정보량이 많은 역헤시안 갱신 메커니즘을 개발한다.
• 고차원 데이터를 가진 대규모 경험 위험 최소화(ERM) 문제에 대해 효율적이고 확장 가능한 최적화를 가능하게 한다.
• 새로운 블록 BFGS 갱신을 분산 감소 기법(SVRG)과 통합하여 표준 가정 하에 선형 수렴성을 달성한다.
• 대규모 로지스틱 회귀 작업에서 기존의 스케줄링 L-BFGS 및 SVRG 방법보다 뛰어난 강건성과 수렴 속도를 입증한다.

제안 방법

• 헤시안 행렬 $ \nabla^2 f_T(x_t) $의 스케칭을 사용하여 역헤시안 추정치 $ H_t $ 를 유지하는 스케줄링 블록 BFGS 갱신을 제안한다. 여기서 $ T $ 는 데이터의 무작위 부분집합이다.
• 투영 기반 갱신을 구현한다: $ H_t $ 는 이전 추정치 $ H_{t-1} $ 를 $ H_t \nabla^2 f_T(x_t) D_t = D_t $ 를 만족하는 대칭 행렬 집합에 투영하여 갱신된다. 여기서 $ D_t \in \mathbb{R}^{d \times q} $ 는 $ q \ll d $ 인 무작위 스케칭 행렬이다.
• 전체 헤시안 행렬을 계산하고 저장하는 것을 피하기 위해, $ q $ 개의 방향 도함수(헤시안-벡터 곱을 통한)를 사용해 스케칭 $ \nabla^2 f_T(x_t) D_t $ 를 효율적으로 계산한다.
• 최근 $ M $ 개의 블록 트리플 $ (D_i, Y_i, \Delta_i) $ 만 저장하는 제한 메모리 변형을 도입하여 대규모 문제에 대한 메모리 효율성을 확보한다.
• 블록 BFGS 갱신을 SVRG 분산 감소 프레임워크와 통합하여 표준 가정 하에 선형 수렴성을 달성한다.
• Sherman-Morrison-Woodbury 항등식을 활용해 역헤시안 근사의 폐쇄형 갱신을 유도함으로써, 양의 정부호성과 수치적 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 스케칭을 통해 다수의 곡률 방향을 사용하는 스케줄링 준뉴턴 방법이 기존의 스케줄링 L-BFGS 방법보다 수렴 속도와 강건성 면에서 뛰어나게 되는가?
• RQ2 역헤시안 방정정식 $ H \nabla^2 f_T(x) = I $ 의 스케칭된 형태를 통합함으로써 단일 헤시안-벡터 곱을 사용하는 것보다 더 잘 조절된 메트릭 행렬을 얻을 수 있는가?
• RQ3 제안된 블록 BFGS 갱신이 SVRG와 결합되었을 때, 고차원 데이터를 가진 대규모 ERM 문제에 대해 선형 수렴성을 달성할 수 있는가?
• RQ4 대규모 로지스틱 회귀 작업에서 스케줄링 블록 BFGS 방법의 성능이 SVRG 및 L-BFGS-SVRG와 같은 최신 기술 방법보다 어떻게 비교되는가?
• RQ5 스케칭이 역헤시안 근사의 조건수와 스펙트럼 성질에 이론적으로 미치는 영향은 무엇인가?

주요 결과

• 표준 가정(강凸성 및 유한한 헤시안 변동성) 하에, SVRG 프레임워크와 결합된 제안된 스케줄링 블록 BFGS 방법은 선형 수렴성을 달성한다.
• 이 방법은 대규모 로지스틱 회귀 문제에서 표준 SVRG 및 L-BFGS-SVRG보다 뚜렷이 뛰어난 성능을 보이며, 더 빠른 수렴 속도와 더 뛰어난 강건성을 입증한다.
• 수치 실험 결과, 기존의 L-BFGS보다 블록 BFGS 갱신이 더 많은 곡률 정보를 효과적으로 캡처함으로써 더 빠른 수렴과 더 나은 메트릭 행렬의 조건수를 제공하는 것으로 나타났다.
• 이론적 분석을 통해 역헤시안 추정치가 잘 조절되어 있음을 확인하였으며, $ \|H_t\|_2 \leq (1 + \sqrt{\kappa})^{2M} \left( \|H_{t-M}\| + \frac{1}{\lambda(2\sqrt{\kappa} + \kappa)} \right) $ 를 만족한다. 여기서 $ \kappa $ 는 헤시안의 조건수이다.
• 각 반복에서 $ q \ll d $ 개의 방향 도함수만을 사용함으로써 계산 효율성을 유지하여 고차원 문제에 대한 확장성을 확보한다.
• 스케칭을 사용함으로써 단일 벡터 BFGS 갱신보다도 더 정확한 역헤시안 근사가 가능하며, 추가적인 계산 비용이 최소한이면서도 성능 향상이 이루어진다.