[논문 리뷰] Improving Levenberg-Marquardt Algorithm for Neural Networks

Omead Pooladzandi, Yiming Zhou|arXiv (Cornell University)|2022. 12. 17.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 신경망 학습을 위한 Levenberg-Marquardt (LM) 알고리즘을 개선하기 위해 적응형 모멘타, 학습률 선 탐색, 상승 단계 수용을 도입하여 회귀 및 분류 과제 모두에서 수렴 속도를 크게 향상시키고 성능을 향상시킨다. 개선된 LM 방법은 SGD와 Adam과 같은 일계 최적화기뿐만 아니라 L-BFGS와 KFAC와 같은 이계 최적화기보다도 뛰어난 성능을 보이며, 대규모 모델에 대해서도 계산적으로 실현 가능하다.

ABSTRACT

We explore the usage of the Levenberg-Marquardt (LM) algorithm for regression (non-linear least squares) and classification (generalized Gauss-Newton methods) tasks in neural networks. We compare the performance of the LM method with other popular first-order algorithms such as SGD and Adam, as well as other second-order algorithms such as L-BFGS , Hessian-Free and KFAC. We further speed up the LM method by using adaptive momentum, learning rate line search, and uphill step acceptance.

연구 동기 및 목표

• 대규모 신경망에서 이계 최적화의 높은 계산 비용과 메모리 요구량 문제를 해결하기 위해.
• 회귀 및 분류 과제 모두에서 Levenberg-Marquardt 알고리즘의 수렴 속도와 안정성을 향상시키기 위해.
• 완전한 헤시안 행렬 계산에 의존도를 줄임으로써 LM 방법을 대규모 딥러닝에 대해 확장 가능하고 실용적으로 만들기 위해.
• 학습 효율성과 정확도 측면에서 첫째, 일계 최적화기(SGD, Adam)와 다른 이계 최적화기(L-BFGS, 헤시안 프리, KFAC)와의 성능 및 효율성을 비교하기 위해.
• 적응형 모멘타, 학습률 선 탐색, 상승 단계 수용이 최적화 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 편미분 불변성과 곡률 인식 단계 크기 조정을 고려한 핵심 최적화 프레임워크로 Levenberg-Marquardt 알고리즘을 채택하기 위해.
• 과거 기울기의 영향을 동적으로 조정함으로써 안정성과 수렴성을 향상시키는 적응형 모멘타를 도입하기 위해.
• 각 반복에서 단계 크기를 자동으로 조정하기 위해 학습률 선 탐색을 구현하여 강건성과 수렴 속도를 향상시키기 위해.
• 통제된 조건 하에서 상승 단계를 허용함으로써 국소 최소값에서 벗어나 일반화 성능을 향상시키기 위해.
• 명시적 헤시안 행렬 계산을 피하기 위해 가우스-뉴턴 근사법을 사용하여 계산 복잡도를 감소시키기 위해.
• 이러한 기법들을 결합함으로써 이계 최적화의 이점을 유지하면서도 메모리 및 시간 오버헤드를 최소화하기 위해.

실험 결과

연구 질문

• RQ1 Levenberg-Marquardt 알고리즘이 높은 계산 비용에도 불구하고 대규모 신경망 학습에 효과적으로 적용될 수 있는가?
• RQ2 적응형 모멘타와 학습률 선 탐색은 딥러닝에서 LM 방법의 수렴성과 안정성에 어떻게 기여하는가?
• RQ3 상승 단계 수용은 비凸 손실 곡면에서 최적화 과정에 얼마나 기여하는가?
• RQ4 개선된 LM 방법은 첫째, 일계 최적화기와 다른 이계 최적화기와 비교해 성능 및 효율성 측면에서 어떻게 다른가?
• RQ5 향상된 LM 방법은 회귀 및 분류 과제 모두에서 더 빠른 수렴과 더 나은 일반화 성능을 달성할 수 있는가?

주요 결과

• 개선된 Levenberg-Marquardt 알고리즘은 회귀 및 분류 과제에서 SGD와 Adam보다 더 빠른 수렴 속도를 보였다.
• 이 방법은 뛰어난 강건성과 편미분 불변성을 보이며, 조건이 나쁜 상황에서도 안정적인 최적화를 가능하게 했다.
• 적응형 모멘타와 학습률 선 탐색은 수렴 속도를 크게 향상시키고 하이퍼파ram터 튜닝에 대한 민감도를 감소시켰다.
• 상승 단계 수용은 열악한 국소 최소값에서 벗어나 일반화 성능을 향상시키는 데 기여했다.
• 기준 테스트 과제에서 L-BFGS, 헤시안 프리, KFAC보다 학습 속도와 최종 모델 정확도 측면에서 뛰어난 성능을 보였다.
• 가우스-뉴턴 근사법을 통해 전체 헤시안 행렬 계산을 피하므로 대규모 모델에 대해서도 계산적으로 실현 가능했다.