[논문 리뷰] On the Acceleration of L-BFGS with Second-Order Information and Stochastic Batches

Jie Liu, Yu Rong외 2명|arXiv (Cornell University)|2018. 07. 14.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 4

한 줄 요약

이 논문은 유한합 최적화에서 수렴을 가속화하기 위해 스트로스틱 배치와 근사 헤시안 또는 피셔 정보를 사용하는 안정적인 2차 수준 L-BFGS 프레임워크를 제안한다. 이는 볼록 및 비볼록 문제 모두에서 선형 수렴를 달성하며, 대용량 배치 크기를 가진 분산 환경에서 SGD, ADAM, 표준 L-BFGS보다 뛰어난 성능을 보인다.

ABSTRACT

This paper proposes a framework of L-BFGS based on the (approximate) second-order information with stochastic batches, as a novel approach to the finite-sum minimization problems. Different from the classical L-BFGS where stochastic batches lead to instability, we use a smooth estimate for the evaluations of the gradient differences while achieving acceleration by well-scaling the initial Hessians. We provide theoretical analyses for both convex and nonconvex cases. In addition, we demonstrate that within the popular applications of least-square and cross-entropy losses, the algorithm admits a simple implementation in the distributed environment. Numerical experiments support the efficiency of our algorithms.

연구 동기 및 목표

• 유한합 문제에서 노이즈가 있는 기울기 차이로 인해 발생하는 스트로스틱 L-BFGS의 불안정성 문제를 해결하기 위해.
• 더 빠른 수렴을 위해 2차 정보(Hessian 또는 피셔 행렬)를 활용하는 안정적이고 효율적인 L-BFGS 변종을 개발하기 위해.
• 곡률 근사에 피셔 정보 행렬을 사용하여 확장 가능한 분산 구현을 가능하게 하기 위해.
• 볼록 및 비볼록 유한합 최소화 문제에 대해 선형 수렴 보장을 수립하기 위해.
• 로지스틱 회귀 및 신경망 학습에서 ADAM, SGD, 표준 L-BFGS에 비해 실용적으로 뛰어난 성능을 입증하기 위해.

제안 방법

• 기울기 차이의 부드러운 추정치를 사용하여 스트로스틱 L-BFGS에서 곡률 근사치의 안정성을 높이는 LBFGS-H를 도입한다.
• 헤시안 근사치를 피셔 정보 행렬로 대체하여 안정성 향상과 분산 계산을 가능하게 하는 LBFGS-F를 제안한다.
• 한정된 메모리(m)를 사용하여 곡률 쌍(s_k, y_k)을 활용해 검색 방향을 효율적으로 계산하기 위해 두 번째 루프 재귀를 적용한다.
• 목적 함수의 충분한 감소를 보장하기 위해 선검색 또는 고정 단계 크기 전략을 사용하여 학습률을 결정한다.
• 안정성 유지와 수렴 가속화를 위해 잘 스케일링된 초기 헤시안 H_k^0을 적용한다.
• 헤시안 업데이트를 피셔 정보 행렬로 대체하여 통신 및 계산 비용을 줄임으로써 분산 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 기울기 차이로 인한 불안정성을 유발하지 않고 2차 정보를 스트로스틱 L-BFGS에 효과적으로 통합할 수 있는가?
• RQ2 기울기 차이의 부드러운 추정치를 사용하면 스트로스틱 L-BFGS의 수렴 안정성이 향상되는가?
• RQ3 피셔 정보 행렬을 사용하는 LBFGS-F는 분산 환경에서 표준 L-BFGS와 비교해 유사하거나 더 뛰어난 성능을 낼 수 있는가?
• RQ4 제안된 프레임워크는 볼록 및 비볼록 유한합 문제 모두에서 선형 수렴를 달성하는가?
• RQ5 특히 대용량 배치 크기에서, 분산 학습 환경에서 알고리즘이 다양한 배치 크기에서 어떻게 작동하는가?

주요 결과

• 표준 가정 하에 LBFGS-H는 볼록 및 비볼록 유한합 문제 모두에서 최적 해의 이웃으로 선형 수렴를 달성한다.
• LBFGS-F는 분산 환경에서 안정적이고 빠른 수렴를 보이며, 특히 대용량 배치 크기에서 ADAM, ADAGRAD, SGD를 능가한다.
• 수치 실험 결과, LBFGS-H는 100개의 랜덤 시드에서 일관된 성능을 유지하는 반면, ADAM과 SGD는 더 큰 배치 크기에서 성능이 크게 떨어진다.
• 대용량 배치 크기(예: 4096)에서 LBFGS-H는 목표 정확도에 도달하기 위한 에포크 수를 줄여 분산 시스템에서 통신 비용을 최소화한다.
• 단일 GPU에서 배치 크기 2^6까지 알고리즘의 계산 시간이 거의 일정하게 유지되어 더 큰 배치 크기로의 확장성을 보여준다.
• 기본 모델인 LBFGS-S는 높은 불안정성과 느린 수렴를 보이며, 제안된 스무딩 및 헤시안/피셔 근사의 필요성을 입증한다.