[논문 리뷰] Disentangling Adaptive Gradient Methods from Learning Rates

Naman Agarwal, Rohan Anil외 3명|arXiv (Cornell University)|2020. 02. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 74인용 수 8

한 줄 요약

이 논문은 최적화 업데이트의 크기와 방향을 분리하는 'grafting' 방법을 제안하며, 딥러닝 최적화기에서 성능 차이의 주요 원인이 적응형 전치법이 아니라 학습률 스케줄임을 드러낸다. 핵심 발견은 일반화 성능과 학습 곡선이 적응형 방법 자체보다는 암묵적인 스텝 크기 스케줄에 의해 지배된다는 것이며, AdaGrad의 스케줄을 grafting을 통해 교정함으로써 성능 향상이 뚜렷하게 이루어지는 것으로 실험적으로 확인되었다.

ABSTRACT

We investigate several confounding factors in the evaluation of optimization algorithms for deep learning. Primarily, we take a deeper look at how adaptive gradient methods interact with the learning rate schedule, a notoriously difficult-to-tune hyperparameter which has dramatic effects on the convergence and generalization of neural network training. We introduce a "grafting" experiment which decouples an update's magnitude from its direction, finding that many existing beliefs in the literature may have arisen from insufficient isolation of the implicit schedule of step sizes. Alongside this contribution, we present some empirical and theoretical retrospectives on the generalization of adaptive gradient methods, aimed at bringing more clarity to this space.

연구 동기 및 목표

• 적응형 최적화기 평가 시 암묵적인 학습률 스케줄이 초래하는 혼동 효과를 해결하기 위해.
• 딥러닝 최적화에서 적응형 전치법의 진정한 영향을 학습률 동역학과 분리하여 평가하기 위해.
• 스텝 크기 크기와 업데이트 방향을 분리함으로써 최적화기 평가를 위한 진단 도구를 제공하기 위해.
• 학습률 스케줄과의 복잡한 하이퍼파라미터 상호작용이 장기적으로 유지된 적응형 방법의 일반화 성능에 대한 기존 주장들을 재평가하기 위해.
• 많은 경험적 믿음들이 학습률 스케줄의 충분한 분리가 이루어지지 않은 데서 기인할 수 있음을 보여주기 위해.

제안 방법

• 다른 최적화기(예: SGD)의 방향과 다른 최적화기(예: AdaGrad)의 크기를 조합하는 'grafting' 메타최적화기를 제안하여, 스텝 크기와 업데이트 방향을 독립적으로 제어할 수 있도록 한다.
• 두 가지 grafting 변형을 도입한다: 계층별 grafting(각 계층의 학습률 크기)과 글로벌 grafting(단일 스칼라 크기)로, 모두 스텝 크기 스케줄의 영향을 분리하기 위해 사용된다.
• grafting을 진단 도구로 활용하여, 크기 원천을 고정하고 방향을 변화시킴으로써 적응형 전치법의 기여도를 개별적으로 평가한다.
• 대규모 비전 및 NLP 모델(ResNet, Transformer)에 grafting을 적용하여, 학습률 스케줄이 적응형 행동보다 더 우세한지 실험적으로 검증한다.
• grafting을 통해 AdaGrad의 스텝 크기 스케줄을 선형 증가형으로 교정하는 방법을 발견하여 이미지 분류 작업에서 성능 향상을 이룬다.
• 이전 연구([WRS+17] 등)의 복제 연구를 수행하여 적응형 방법의 열악한 일반화 성능에 대한 주장의 타당성을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 최적화기에서 성능을 결정짓는 주요 요인이 적응형 전치법이 아니라 암묵적인 학습률 스케줄인가?
• RQ2 AdaGrad와 같은 적응형 최적화기의 성능을 그들의 암묵적 스텝 크기 스케줄을 교정함으로써 향상시킬 수 있는가?
• RQ3 왜 최적화기 선택이 자연어 처리(NLP, 예: Transformers)에서는 컴퓨터 비전(CV, 예: ResNets)보다 더 취약하게 나타나는가?
• RQ4 학습률 스케줄과 같은 혼란 요인들이 적응형 최적화 방법의 진정한 평가를 어떻게 방해하는가?
• RQ5 grafting을 활용해 새로운 효과적인 최적화 알고리즘 또는 하이퍼파라미터 스케줄을 발견할 수 있는가?

주요 결과

• ResNet과 Transformer 모델에서 학습 곡선과 최종 성능은 업데이트의 방향보다 크기 원천(즉, 암묵적인 학습률 스케줄)에 의해 지배된다.
• 계층별 grafting은 방향 선택보다 크기 원천(예: AdaGrad 대비 SGD) 선택이 성능에 더 큰 영향을 미치며, 추가 튜닝 없이도 성능 향상이 가능하다는 것을 보여준다.
• AdaGrad의 스텝 크기에 대해 선형 증가형 스케줄 보정을 적용하면 이미지 모델에서 성능 향상이 뚜렷하게 향상되며, CIFAR-10에서 VGGNet에서도 동일한 효과를 보인다.
• 글로벌 grafting은 비전(ResNet)에서는 작동하지만, NLP(Transformer)에서는 글로벌 학습률를 정교하게 튜닝하지 않으면 실패하며, 이는 NLP 모델의 더 높은 민감도를 시사한다.
• Transformer에서 grafting이 암시하는 계층별 스텝 크기 보정은 AdaGrad와 SGD 간 최대 5개 지수 차이를 보이며, 이는 NLP에서 최적화기 선택의 취약성을 설명한다.
• [WRS+17] 실험의 복제 결과, 원래 연구에서 제시된 적응형 방법의 열악한 일반화 성능 주장은 CIFAR-10을 초월해 일반화되지 않으며, AdaGrad의 선형 보정은 ImageNet으로도 전이 가능하다.