[논문 리뷰] WNGrad: Learn the Learning Rate in Gradient Descent

Xiaoxia Wu, Rachel Ward외 1명|arXiv (Cornell University)|2018. 03. 07.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 55

한 줄 요약

WNGrad는 그래디언트 관찰에 따라 적응하는 다이나믹 학습률 업데이트 규칙을 도입하여 Lipschitz 상수에 대한 강인성과 배치/확률적 설정에서 거의 최적에 가까운 수렴을 달성합니다.

ABSTRACT

Adjusting the learning rate schedule in stochastic gradient methods is an important unresolved problem which requires tuning in practice. If certain parameters of the loss function such as smoothness or strong convexity constants are known, theoretical learning rate schedules can be applied. However, in practice, such parameters are not known, and the loss function of interest is not convex in any case. The recently proposed batch normalization reparametrization is widely adopted in most neural network architectures today because, among other advantages, it is robust to the choice of Lipschitz constant of the gradient in loss function, allowing one to set a large learning rate without worry. Inspired by batch normalization, we propose a general nonlinear update rule for the learning rate in batch and stochastic gradient descent so that the learning rate can be initialized at a high value, and is subsequently decreased according to gradient observations along the way. The proposed method is shown to achieve robustness to the relationship between the learning rate and the Lipschitz constant, and near-optimal convergence rates in both the batch and stochastic settings ($O(1/T)$ for smooth loss in the batch setting, and $O(1/\sqrt{T})$ for convex loss in the stochastic setting). We also show through numerical evidence that such robustness of the proposed method extends to highly nonconvex and possibly non-smooth loss function in deep learning problems.Our analysis establishes some first theoretical understanding into the observed robustness for batch normalization and weight normalization.

연구 동기 및 목표

• 확정적 손실 함수 상의 주요 상수 미지의 상황에서 확률적 경사 방법의 학습율 스케줄 선택의 어려움을 동기부여하고 해결합니다.
• 관찰된 그래디언트를 바탕으로 시작은 크고 점진적으로 적응하는 재매개변수화에서 영감을 받은 학습률 업데이트를 제안합니다.
• 배치(매끄러운 비볼록)와 확률적(볼록하지만 반드시 매끄럽지 않음) 설정에서 WNGrad의 수렴 보장을 확립합니다.
• 표준 데이터셋(MNIST 및 CIFAR-10)에 대한 수치 실험을 통해 강건성과 실용적 성능을 입증합니다.

제안 방법

• x_{k+1} = x_k - (1/b_k) ∇f(x_k) 이고 b_{k+1} = b_k + (1/b_k) ∥∇f(x_k)∥^2 로 업데이트하는 WNGrad를 도입합니다.
• b_k가 L 이상으로 커질 때 안정화되어 알려지지 않은 Lipschitz 상수 L에 대한 강인성을 가져다 줌을 보입니다.
• 매끄러운 f에 대해 전역 수렴을 증명합니다: min_k ∥∇f(x_k)∥^2 ≤ ε 이며 T의 한계가 f(x_1), f*, L에 의존합니다.
• 확률적 수렴을 보입니다: f( x̄_k ) - f* ≤ G^2(D^2+2)/(γ√k) + (b_1 ∥x_1 - x*∥^2)/(2k) 가 볼록성 및 분산 가정하에서 성립합니다.
• 제곱근 계산 없이 AdaGrad와 유사한 동작으로 WNGrad를 스케일 불변성 및 효율성을 강조합니다.

실험 결과

연구 질문

• RQ1 단일로 동적으로 업데이트되는 학습률 매개변수 b_k가 Lipschitz 상수를 모르는 상황에서 배치 및 확률적 그래디언트 설정 모두에 수렴 보장을 제공할 수 있는가?
• RQ2 제안된 b_k 업데이트가 학습률 스케일 선택에 대한 강건성을 제공하고 비볼록 신경망 문제에서 일반화 성능을 개선하는가?
• RQ3 배치(매끄러운) 및 확률적(볼록하나 반드시 매끄럽지 않음) 설정에서 WNGrad의 이론적 수렴 속도는 무엇인가?
• RQ4 MNIST, CIFAR-10과 같은 표준 데이터셋에서 WNGrad의 SGD 및 적응형 방법과 비교한 실험적 성능은 어떠한가?
• RQ5 모멘텀 변형(WN-Adam, WNGrad-Momentum)이 학습률 스케일에 대한 강건성에 어떤 영향을 미치는가?

주요 결과

• 배치 설정에서 매끄러운 f에 대해 ∥∇f(x_T)∥^2 ≤ ε를 달성하는 점으로 수렴하며 O((f(x_1)−f*+L)^2/ε) 반복에서 가능하다고 제시합니다.
• 확률적 설정에서 b_k는 O(√k/G)로 증가하여 볼록 손실에 대해 최적의 O(1/√T) 속도를 얻습니다.
• 스케일 불변성으로서 상수로 f를 재조정해도 WNGrad의 반복은 변경되지 않습니다.
• 모멘텀 또는 Adam 변형과 함께 WNGrad는 Lipschitz-상수 스케일에 대한 강건성을 유지하며 일부 설정에서 표준 SGD/Adam보다 우수한 성능을 보입니다.
• MNIST 및 CIFAR-10에 대한 수치 실험은 WNGrad가 그래디언트 Lipschitz 상수에 대한 강건성을 보이고 SGD에 비해 일반화 성능이 경쟁력 있음을 보여줍니다.