[논문 리뷰] Calibrating the Learning Rate for Adaptive Gradient Methods to Improve Generalization Performance.

Qianqian Tong, Guannan Liang외 1명|arXiv (Cornell University)|2019. 08. 02.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 3

한 줄 요약

이 논문은 소프트플러스 활성화를 사용하여 적응형 학습률을 校정함으로써 네트워크 차원 간 이방성 스케일링을 감소시키는 Sadam 및 SAMSGrad를 제안한다. 이러한 방법들은 여러 딥러닝 작업에서 Adam과 S-Momentum보다 수렴 속도와 일반화 성능을 향상시키며, 기존 문헌에서 간과되었던 하이퍼파rameter ε가 Adam의 수렴에 영향을 준다는 이론적 증명을 제공한다.

ABSTRACT

Adaptive gradient methods (AGMs) have become popular in optimizing the nonconvex problems in deep learning area. We revisit AGMs and identify that the adaptive learning rate (A-LR) used by AGMs varies significantly across the dimensions of the problem over epochs (i.e., anisotropic scale), which may lead to issues in convergence and generalization. All existing modified AGMs actually represent efforts in revising the A-LR. Theoretically, we provide a new way to analyze the convergence of AGMs and prove that the convergence rate of extsc{Adam} also depends on its hyper-parameter $\epsilon$, which has been overlooked previously. Based on these two facts, we propose a new AGM by calibrating the A-LR with an activation ({\em softplus}) function, resulting in the extsc{Sadam} and extsc{SAMSGrad} methods \footnote{Code is available at this https URL.}. We further prove that these algorithms enjoy better convergence speed under nonconvex, non-strongly convex, and Polyak-Łojasiewicz conditions compared with extsc{Adam}. Empirical studies support our observation of the anisotropic A-LR and show that the proposed methods outperform existing AGMs and generalize even better than S-Momentum in multiple deep learning tasks.

연구 동기 및 목표

• 적응형 기울기 방법(AGMs)에서 네트워크 차원 간 이방성 적응형 학습률 스케일링 문제를 다루어 수렴과 일반화를 저해하는 요소를 해결한다.
• AGM 수렴을 이론적으로 재분석하고 Adam의 수렴 속도가 하이퍼파rameter ε에 의존한다는 것을 밝혀내며, 이는 이전 문헌에서 간과된 요소이다.
• 이방성 학습률 스케일링을 보정하기 위해 보정된 적응형 학습률을 사용하는 새로운 적응형 최적화 방법을 설계한다.
• 다양한 딥러닝 작업에서 기존 AGMs와 S-Momentum에 비해 일반화 성능을 향상시킨다.
• 비볼록, 비강한볼록, Polyak-Łojasiewicz 조건 하에서 제안된 방법의 이론적 수렴 보장을 수립한다.

제안 방법

• 적응형 학습률을 소프트플러스 활성화 함수를 사용해 보정함으로써 네트워크 차원 간 학습률 스케일링의 안정성과 정규화를 향상시킨다.
• 소프트플러스 보정된 적응형 학습률을 업데이트 규칙에 적용한 새로운 적응형 최적화 알고리즘인 Sadam과 SAMSGrad를 제안한다.
• 소프트플러스 함수는 적응형 학습률의 매끄럽고 음이 아닌 스케일링을 보장하여 파rameter 차원 간 극단적인 변동을 줄인다.
• 이론적 분석을 통해 Adam의 수렴 속도가 ε에 의존함을 증명하며, 이는 새로운 방법 설계에 통합되었다.
• SAMSGrad는 비볼록 및 Polyak-Łojasiewicz 조건 하에서 수렴을 향상시키기 위해 보정된 적응형 학습률을 통합한 기존 SAMSGrad 알고리즘을 수정한다.
• 이 방법은 Adam의 계산 효율성을 유지하면서 제어된, 차원별 학습률 적응을 통해 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 적응형 기울기 방법에서 이방성 적응형 학습률 스케일링은 수렴과 일반화에 어떤 영향을 미치는가?
• RQ2 하이퍼파rameter ε가 Adam의 수렴 속도에 미치는 이론적 영향은 무엇이며, 이를 최적화 향상에 활용할 수 있는가?
• RQ3 소프트플러스 함수를 사용해 적응형 학습률을 보정하면 딥러닝에서 더 나은 일반화와 더 빠른 수렴을 이끌 수 있는가?
• RQ4 Sadam과 SAMSGrad는 다양한 딥러닝 작업에서 Adam과 S-Momentum에 비해 일반화 성능에서 어떻게 비교되는가?
• RQ5 비볼록, 비강한볼록, Polyak-Łojasiewicz 조건 하에서 제안된 방법이 더 빠른 수렴 속도를 달성하는 이론적 조건은 무엇인가?

주요 결과

• 실험 결과는 존재하는 AGMs에서 파라미터 차원 간 이방성 적응형 학습률 스케일링이 실제로 존재함을 확인하며, 논문의 핵심 동기 요건을 검증한다.
• 이론적 분석을 통해 Adam의 수렴 속도가 하이퍼파rameter ε에 의존함을 증명하며, 이는 이전 문헌에서 간과된 요소이다.
• Sadam과 SAMSGrad는 비볼록, 비강한볼록, Polyak-Łojasiewicz 조건 하에서 Adam보다 더 빠른 수렴 속도를 달성한다.
• 실험 평가 결과, Sadam과 SAMSGrad는 기존 AGMs보다 일반화 성능이 뛰어나며, 여러 딥러닝 벤치마크에서 S-Momentum를 초월하는 성능을 보였다.
• 소프트플러스 보정은 네트워크 차원 간 극단적인 학습률 변동을 효과적으로 줄여 더 안정적이고 일반화 가능한 최적화를 가능하게 한다.
• Sadam과 SAMSGrad의 코드는 공개되어 있어 재현성과 향후 연구를 가능하게 한다.