[논문 리뷰] Implementation of Stochastic Quasi-Newton's Method in PyTorch

Yingkai Li, Huidong Liu|arXiv (Cornell University)|2018. 05. 07.

Stochastic Gradient Optimization Techniques참고 문헌 4인용 수 8

한 줄 요약

이 논문은 비볼록 스트로스틱 최적화를 위한 파이토치(PyTorch)에서 개선된 Stochastic Damped L-BFGS (SdLBFGS) 최적화기의 구현을 제시한다. 헤시안 행렬 근사치를 항등행렬로 초기화하고 검색 방향을 정규화함으로써, 원래의 SdLBFGS0보다 더 나은 수렴성과 안정성을 확보하였으며, SGD 및 Adagrad와 같은 1차 최적화기보다 뛰어나고, CIFAR10 및 MNIST에서 테스트 정확도에서 LBFGS와 맞추거나 능가한다.

ABSTRACT

In this paper, we implement the Stochastic Damped LBFGS (SdLBFGS) for stochastic non-convex optimization. We make two important modifications to the original SdLBFGS algorithm. First, by initializing the Hessian at each step using an identity matrix, the algorithm converges better than original algorithm. Second, by performing direction normalization we could gain stable optimization procedure without line search. Experiments on minimizing a 2D non-convex function shows that our improved algorithm converges better than original algorithm, and experiments on the CIFAR10 and MNIST datasets show that our improved algorithm works stably and gives comparable or even better testing accuracies than first order optimizers SGD, Adagrad, and second order optimizers LBFGS in PyTorch.

연구 동기 및 목표

• 딥 러닝 최적화에서 원래의 SdLBFGS0 알고리즘의 불안정성 및 수렴 불가 문제를 해결한다.
• 비볼록 딥 네URAL 네트워크를 위한 2차 최적화의 수렴성과 수치적 안정성을 향상시킨다.
• 라인 서치 또는 수동 학습률 조정 없이도 파이토치에서 준-뉴턴 방법의 실용적 구현을 가능하게 한다.
• 개선된 SdLBFGS가 널리 사용되는 1차 및 2차 최적화기와 비교해 경쟁력 있거나 뛰어난 테스트 정확도를 달성하는가를 입증한다.

제안 방법

• 모든 최적화 단계에서 원래의 헤시안 초기화 방식을 항등행렬로 대체하여 수렴성을 향상시킨다.
• 검색 방향의 L2 정규화를 도입하여 최적화 과정을 안정화시키고, 라인 서치가 필요 없도록 한다.
• 제한된 메모리 BFGS 업데이트와 수정된 곡률 쌍을 통한 감쇠된 헤시안 근사치를 사용하는 핵심 SdLBFGS 프레임워크를 유지한다.
• 감쇠 업데이트 규칙을 사용한다: $\bar{y}_{k-1} = \theta_{k-1} y_{k-1} + (1 - \theta_{k-1}) H_{k,0}^{-1} s_{k-1} $, 여기서 $\theta_{k-1}$ 는 헤시안의 준정부정성(positive semi-definiteness)을 보장한다.
• 메모리 효율적인 벡터 연산을 사용하여 L-BFGS 업데이트 시퀀스를 구현함으로써 전체 행렬을 저장하지 않고도 헤시안 역행렬을 근사한다.
• 엔드 투 엔드 미분 가능 최적화를 지원하는 파이토치에 개선된 SdLBFGS를 통합하여 표준 딥 러닝 학습 루프에서 사용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 라인 서치 없이도 원래의 SdLBFGS0 알고리즘이 딥 러닝 최적화에서 실용적으로 안정화될 수 있는가?
• RQ2 헤시안 근사치를 항등행렬로 초기화하면 비볼록 최적화에서 수렴성이 향상되는가?
• RQ3 방향 정규화가 라인 서치를 대체하면서도 최적화의 안정성과 수렴성을 유지할 수 있는가?
• RQ4 표준 비전 벤치마크에서 개선된 SdLBFGS가 SGD, Adagrad와 같은 1차 최적화기 및 LBFGS와 같은 2차 최적화기와 비교해 테스트 정확도와 학습 안정성 측면에서 어떻게 성능을 내는가?

주요 결과

• 개선된 SdLBFGS는 CIFAR10에서 최종 테스트 정확도 약 66%를 기록하여, SGD 및 Adagrad(약 62%)를 능가하고 내장된 LBFGS 최적화기보다도 뛰어났다.
• MNIST 데이터셋에서는 SdLBFGS가 약 98%의 테스트 정확도를 기록하여 SGD 및 Adagrad와 유사했고, 반면 LBFGS는 약 10%의 정확도에 그쳐 완전히 실패했다.
• SdLBFGS0는 CIFAR10 및 MNIST 양쪽에서 몇 에포크 후에 충돌하여 NaN 값을 생성했지만, 개선된 SdLBFGS는 안정적으로 유지되고 수렴했다.
• 최적의 학습률 조건에서 모든 기준 모델 대비 더 빠른 정확도 증가와 안정적인 손실 감소를 보였다.
• 라인 서치 없이도 LBFGS와 비슷하거나 뛰어난 성능을 달성하여 학습률 선택에 대한 강건성을 입증했다.
• 방향 정규화와 항등행렬 헤시안 초기화 모두 안정성과 수렴성에 핵심적인 역할을 했으며, 추론 실험에서 둘 중 하나를 제거하면 실패함을 확인했다.