[논문 리뷰] Adaptive Gradient Descent for Convex and Non-Convex Stochastic Optimization

Darina Dvinskikh, Aleksandr Ogaltsov외 4명|arXiv (Cornell University)|2019. 11. 19.

Stochastic Gradient Optimization Techniques참고 문헌 41인용 수 13

한 줄 요약

이 논문은 미지의 기울기 리프시츠 상수와 확률적 분산에 동시에 적응하기 위해 아르미조 유형의 선 탐색을 사용하는 볼록 및 비볼록 확률적 최적화를 위한 적응형 경사하강법을 제안한다. 이 방법은 하이퍼파ram터 조정이나 문제 파라미터에 대한 사전 지식이 필요 없이 국소적 부드러움과 노이즈에 기반해 단계 크기를 동적으로 조정함으로써 아담(Adam)과 아다그레드(AdaGrad)보다 빠른 수렴을 달성한다.

ABSTRACT

In this paper we propose several adaptive gradient methods for stochastic optimization. Unlike AdaGrad-type of methods, our algorithms are based on Armijo-type line search and they simultaneously adapt to the unknown Lipschitz constant of the gradient and variance of the stochastic approximation for the gradient. We consider an accelerated and non-accelerated gradient descent for convex problems and gradient descent for non-convex problems. In the experiments we demonstrate superiority of our methods to existing adaptive methods, e.g. AdaGrad and Adam.

연구 동기 및 목표

• 기울기 리프시츠 상수나 기울기 분산에 대한 사전 지식이 필요 없는 확률적 최적화를 위한 적응형 경사 방법을 개발하는 것.
• 아담(Adam)과 아다그레드(AdaGrad)와 같은 기존의 적응형 방법의 한계를 극복하여, 일반적으로 하이퍼파aram터 조정이 필요하고 미니배치에 잘 적응하지 못하는 문제를 해결하는 것.
• 부정확한 오ракูล 모델을 활용하여 부드럽고 비부드러운 문제 모두에 적용 가능한 통합 알고리즘을 설계하는 것.
• 국소 곡률과 노이즈에 기반해 단계 크기를 동적으로 조정하여 부드러운 영역에서 수렴 속도를 향상시키는 것.
• 초기 조건이나 하이퍼파aram터에 민감하지 않게 다양한 기계학습 작업에서의 강건성과 뛰어난 성능을 입증하는 것.

제안 방법

• 이 방법은 국소 기울기 행동과 확률적 오차에 기반해 단계 크기를 적응적으로 결정하기 위해 아르미조 유형의 선 탐색을 사용한다.
• 알려지지 않은 비율 $ D/L $ 에 동시에 적응하며, 이를 신호 대 잡음 비율 또는 효과적 리프시츠 상수로 해석한다.
• 알고리즘은 국소 리프시츠 상수 $ L_k $ 의 추정치를 유지하며 필요에 따라 백트랙킹을 통해 업데이트한다.
• 확률적 미니배치 기울기를 사용하며, 분산 $ \text{Var}[\nabla f(x, \theta)] \leq D_0/r $ 를 제어하기 위해 배치 크기를 적응적으로 선택함으로써 사전 지식 없이도 수렴을 보장한다.
• 비가속화 및 가속화 변형을 볼록 문제에 대해 확장하고, 비볼록 문제에 대해서는 표준 경사하강법으로 확장한다.
• 거리-해소 또는 복잡한 하이퍼파aram터에 의존하지 않고, 부정확한 오라클 모델과 적응형 단계 크기 규칙에 의존함으로써 이를 방지한다.

실험 결과

연구 질문

• RQ1 아르미조 유형의 선 탐색이 $ L $ 또는 $ D $ 를 사전에 알지 못하는 조건에서 확률적 최적화에 효과적으로 일반화되어 적응형 단계 크기를 달성할 수 있는가?
• RQ2 미니배치 크기 선택에 민감하지 않게, $ D $, $ L $, 또는 최적 해에의 거리 지식 없이도 적응형 방법을 설계할 수 있는가?
• RQ3 아담(Adam)과 아다그레드(AdaGrad)보다 볼록 및 비볼록 설정 모두에서 더 빠른 수렴을 달성하면서도 하이퍼파aram터 선택에 민감하지 않은가?
• RQ4 국소 곡률에 따라 단계 크기가 부드러운 영역에서 증가함으로써 수렴 속도를 얼마나 향상시킬 수 있는가?
• RQ5 부정확한 오라클 모델을 사용하여 부드럽고 비부드러운 문제 모두에 적용 가능한 통합 알고리즘으로 만들 수 있는가?

주요 결과

• 목표 $ \|\nabla f(x)\|^2 \leq \varepsilon^2 $ 를 달성하기 위해 기대 오라클 복잡도 $ \tilde{T} = \frac{512 D_0 \bar{L}^2 (f(x^0) - f(x^*))}{\underline{L} \varepsilon^4} $ 와 함께 배치 크기 $ r = \frac{8D_0}{\varepsilon^2} $ 를 사용하여 성능을 달성한다.
• MNIST 및 CIFAR10 데이터셋에서 로지스틱 회귀, 완전 연결 신경망, CNN 등 다양한 환경에서 아담(Adam)과 아다그레드(AdaGrad)보다 더 빠른 수렴을 보였다.
• 하이퍼파aram터 선택에 강건하다: $ D_0 $, $ \varepsilon $, $ L_0 $ 의 넓은 범위에서 성능이 안정적이며, 초기값에 대한 민감도가 최소이다.
• 이론적 분석을 통해 볼록(가속화 및 비가속화) 및 비볼록 설정 모두에서 수렴이 확인되었으며, 수렴 속도는 $ \varepsilon $, $ D_0 $, $ \bar{L} $ 에 따라 달라진다.
• 사전 지식 없이도 $ D $, $ L $, 또는 최적의 배치 크기 지식 없이도 적응형 미니배치를 지원한다.
• 실험 결과 여러 작업과 아키텍처에서 훈련 목표 함수와 테스트 정확도에서 일관된 우수성을 보였다.