[논문 리뷰] Stochastic Damped L-BFGS with Controlled Norm of the Hessian Approximation

Sanae Lotfi, Dominique Orban외 2명|arXiv (Cornell University)|2020. 01. 01.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 2

한 줄 요약

이 논문은 깊이 학습에서 안정성을 향상하기 위해 헤시안 근사의 조건수를 그 최소 및 최대 고유값에 대한 경계를 통해 능동적으로 모니터링하고 제어하는 새로운 스토하스틱 감쇠 L-BFGS 알고리즘인 VARCHEN을 제안한다. 분산 감소와 새로운 초기 헤시안 근사값을 통합함으로써 VARCHEN은 거의 확실한 수렴을 보장하며, SdLBFGS-VR과 SVRG에 비해 수정된 DavidNet에서 CIFAR-10에 대해 더 뛰어난 성능과 안정성을 보여준다.

ABSTRACT

We propose a new stochastic variance-reduced damped L-BFGS algorithm, where we leverage estimates of bounds on the largest and smallest eigenvalues of the Hessian approximation to balance its quality and conditioning. Our algorithm, VARCHEN, draws from previous work that proposed a novel stochastic damped L-BFGS algorithm called SdLBFGS. We establish almost sure convergence to a stationary point and a complexity bound. We empirically demonstrate that VARCHEN is more robust than SdLBFGS-VR and SVRG on a modified DavidNet problem -- a highly nonconvex and ill-conditioned problem that arises in the context of deep learning, and their performance is comparable on a logistic regression problem and a nonconvex support-vector machine problem.

연구 동기 및 목표

• 비볼록 최적화를 위한 스토하스틱 L-BFGS 방법에서 헤시안 근사의 불안정성과 악조건화 문제를 해결한다.
• 기존의 스토하스틱 이阶 방법이 실패하는 고도로 비볼록적이고 악조건화된 딥러닝 문제에서 수렴 안정성을 향상시킨다.
• 헤시안 근사의 조건수를 제어하는 분산 감소 및 감쇠 L-BFGS 알고리즘을 개발하여 최적화 전반에 걸쳐 안정성을 유지한다.
• 수치적 안정성 향상과 학습 동역학에서의 진동 감소를 위해 새로운 초기 헤시안 근사값을 제안한다.
• 이전 연구보다 더 약한 가정 조건 하에서도 이론적 수렴 보장을 확립한다. 특히, 그라디언트의 리프시츠 연속성만 요구한다.

제안 방법

• 각 반복에서 헤시안 근사 Hk의 최소 및 최대 고유값을 추정하고 경계를 설정하는 분산 감소 스토하스틱 감쇠 L-BFGS 알고리즘인 VARCHEN을 제안한다.
• 감쇠 업데이트 규칙을 사용하여 ˆyk = θkyk + (1−θk)B0k+1sk를 적용함으로써 곡률 조건 s⊤k ˆyk ≥ ηs⊤k B0k+1sk > 0 를 확보하여 Hk+1 가 양의 정부호를 유지하도록 한다.
• Hk의 고유값에 대한 하한 λk 와 상한 Λk 를 동적으로 추정하여 악조건화를 조기에 탐지할 수 있도록 한다.
• λk 가 너무 작거나 Λk 가 너무 클 경우 수정 메커니즘을 적용하여 수렴 성질과 수치적 안정성을 유지한다.
• 학습 손실과 검증 정확도의 진동을 줄이고 조건수를 향상시키기 위해 새로운 초기 헤시안 근사값 H0k 를 제안한다.
• 거칠어지는 단계 크기 αk = c/(k+1) 또는 αk = λmin/(Lλ2max)k−β (β ∈ (1/2, 1)) 를 사용하여 거의 확실한 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 헤시안 근사의 조건수 제어가 스토하스틱 L-BFGS의 비볼록 딥러닝 문제에서 수렴 안정성을 향상시키는가?
• RQ2 헤시안 근사의 최소 및 최대 고유값에 대한 경계 유지가 더 안정적이고 진동이 적은 학습 동역학을 이끌어내는가?
• RQ3 분산 감소 및 감쇠 L-BFGS 방법이 적응형 헤시안 조건수 제어를 통해 기존의 스토하스틱 이阶 방법보다 악조건화된 비볼록 문제에서 슈퍼리어한 성능을 내는가?
• RQ4 이전의 스토하스틱 감쇠 L-BFGS 방법보다 더 약한 가정 조건 하에서도 거의 확실한 수렴을 달성할 수 있는가?
• RQ5 초기 헤시안 근사값의 선택이 딥러닝에서 스토하스틱 L-BFGS의 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• Wang 등 [33]의 연구보다 더 약한 가정 조건 하에서도 VARCHEN은 거의 확실한 수렴을 달성한다. 이는 이중 미분 가능성과 유한한 헤시안의 유계성 조건이 아닌, 그라디언트의 리프시츠 연속성만 요구한다.
• CIFAR-10에서 수정된 DavidNet 문제에서 VARCHEN은 SdLBFGS-VR과 SVRG에 비해 학습 손실 최소화와 검증 정확도 모두에서 뛰어난 성능을 보이며, 더 매끄럽고 진동이 적은 수렴을 보인다.
• VARCHEN에서는 고유값 경계 λk (최소 고유값의 하한)와 Λk (최대 고유값의 상한) 가 잘 제어되어 있는 반면, SdLBFGS-VR은 극단적이고 불안정한 값을 보이며 악조건화를 시사한다.
• VARCHEN의 성능은 SdLBFGS-VR보다 더 일관성이 있으며, 이는 헤시안 근사의 악조건화로 인해 학습 손실과 검증 정확도에서 높은 진동이 발생하기 때문일 것이다.
• 더 어려운 문제(로지스틱 회귀 및 비볼록 SVM)에서는 VARCHEN과 SdLBFGS-VR의 성능이 유사하여, VARCHEN의 이점이 고도로 비볼록적이고 악조건화된 환경에서 두드러진다는 것을 확인한다.
• 이론적 복잡도 경계에 따르면, T = O(ϵ−1/(1−β)) 반복 후 평균 제곱 그라디언트 노름 E[∥∇f(xk)∥²] ≤ ϵ 가 성립하며, β ∈ (1/2, 1) 이므로 거칠어지는 단계 크기 하에서 수렴이 확인된다.