[논문 리뷰] A survey of deep learning optimizers -- first and second order methods

Rohan V Kashyap|arXiv (Cornell University)|2022. 11. 28.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 종합적 서베이는 비볼록이고 고차원적인 손실 곡면에서의 수렴 성질, 계산 복잡도, 성능을 평가하면서, 14종의 일阶 및 이阶 딥러닝 최적화 방법에 대한 체계적인 이론적 분석을 제공한다. 과다 매개변수화된 모델은 열악한 국소 최소값의 위험을 감소시키며, 이차 방법은 수렴 성능가 뛰어나지만 O(N³)의 헤시안 계산 비용으로 인해 실용적으로 작은 네트워크에 한해 사용 가능하다.

ABSTRACT

Deep Learning optimization involves minimizing a high-dimensional loss function in the weight space which is often perceived as difficult due to its inherent difficulties such as saddle points, local minima, ill-conditioning of the Hessian and limited compute resources. In this paper, we provide a comprehensive review of $14$ standard optimization methods successfully used in deep learning research and a theoretical assessment of the difficulties in numerical optimization from the optimization literature.

연구 동기 및 목표

• 딥러닝에서 널리 사용되는 14종의 일阶 및 이阶 최적화 방법에 대한 체계적인 이론적 리뷰를 제공하기 위해.
• 고차원 비볼록 최적화의 과제, 즉 안장점, 나쁜 조건의 헤시안, 국소 최소값을 분석하기 위해.
• 최적화 알고리즘의 계산 효율성과 수렴 성능 간의 상충 관계를 평가하기 위해.
• 뉴턴-CG 및 아다헤시안과 같은 이차 방법의 이론적 보장과 실용적 한계를 평가하기 위해.
• 과도한 피팅을 완화하고 일반화 성능을 향상시키기 위해 정규화와 가중치 초기화의 역할을 명확히 하기 위해.

제안 방법

• 논문은 수치 최적화의 표준 정의, 즉 기울기, 헤시안, 곡률 정보를 사용하여 최적화 방법에 대한 이론적 평가를 수행한다.
• 일계 방법(예: SGD, Adam, AdamW)은 적응형 학습률, 모멘텀, 일계 기울기 정보를 이용한 매개변수 갱신 기반으로 평가된다.
• 뉴턴-CG 및 아다헤시안과 같은 이계 방법은 명시적 헤시안 계산을 피하기 위해 헤시안-벡터 곱과 헤시안-프리 근사치를 사용하여 분석된다.
• 헤시안은 유한차분 방법을 통해 근사된다: ∇²fₖd ≈ [∇f(xₖ + hd) − ∇f(xₖ)] / h, 이는 헤시안-프리 최적화를 가능하게 한다.
• 룩어헤드는 두 가지 가중치 메커니즘으로 모델링된다: 내부 루프 최적화 방법(예: SGD, Adam)에 의해 갱신되는 빠른 가중치와 지수 이동 평균을 통해 갱신되는 느린 가중치.
• 다임핑 파라미터 λ를 사용한 트러스트 영역 기법은 B = H + λI에서 뉴턴 스텝을 안정화시키고, 음의 곡률 영역에서의 큰 잘못된 갱신을 방지한다.

실험 결과

연구 질문

• RQ1 고차원 비볼록 손실 곡면에서 아담과 SGD와 같은 일계 최적화 방법은 수렴 속도와 일반화 성능에서 어떻게 비교되는가?
• RQ2 딥러닝 환경에서 뉴턴-CG 및 아다헤시안과 같은 이계 방법의 이론적 수렴 성질과 계산 비용은 무엇인가?
• RQ3 비볼록 손실 함수에도 불구하고 과다 매개변수화된 딥 네트워크가 열악한 국소 최소값을 피하는 이유는 무엇인가?
• RQ4 룩어헤드 최적화 방법은 이중 가중치 역학을 통해 수렴 안정성과 일반화를 어떻게 향상시키는가?
• RQ5 고용량 모델이 훈련 데이터를 기억할 수 있는 상황에서 정규화는 과도한 피팅을 방지하는 데 어떤 역할을 하는가?

주요 결과

• 과다 매개변수화된 딥 네트워크는 열악한 국소 최소값의 확률이 낮으며, 고비용 임계점의 대부분은 안장점이다.
• 뉴턴-CG와 같은 이계 방법은 초선형 수렴을 달성하지만 O(N³)의 헤시안 계산 비용으로 인해 작은 모델에 한해 사용 가능하다.
• 헤시안-프리 방법인 뉴턴-CG는 명시적 헤시안 저장 없이도 헤시안-벡터 곱을 유한차분 근사치로 계산한다.
• 헤시안 근사치에 다임핑(λI)을 사용하면 뉴턴 스텝이 안정화되고, 낮거나 음의 곡률 영역에서 큰 잘못된 갱신을 방지한다.
• 룩어헤드는 빠른 적응형 갱신과 느린 평균 가중치를 조합함으로써 수렴을 향상시키며, 진동을 줄이고 일반화 성능을 향상시킨다.
• 실험 결과에 따르면 아담, 아담W, 아다헤시안은 이미지 분류 및 NLP 작업에서 표준 SGD보다 훈련 속도와 최종 정확도에서 뛰어나지만, 이론적 수렴 보장은 없다.