[논문 리뷰] A novel adaptive learning rate scheduler for deep neural networks

Rahul Yedida, Snehanshu Saha|arXiv (Cornell University)|2019. 01. 01.

Advanced Neural Network Applications참고 문헌 18인용 수 11

한 줄 요약

이 논문은 최적화 동역학에서 유도된 이론적 프레임워크를 바탕으로 실시간으로 학습률을 동적으로 계산하는 새로운 적응형 학습률 스케줄러를 제안한다. 표준 데이터셋과 아키텍처에서의 실험을 통해 학습 안정성과 수렴성 향상이 확인되어, 고정 또는 히우리스틱 학습률 스케줄러에 비해 본 방법의 유효성을 입증한다.

ABSTRACT

Optimizing deep neural networks is largely thought to be an empirical process, requiring manual tuning of several parameters, such as learning rate, weight decay, and dropout rate. Arguably, the learning rate is the most important of these to tune, and this has gained more attention in recent works. In this paper, we propose a novel method to compute the learning rate for training deep neural networks. We derive a theoretical framework to compute learning rates dynamically, and then show experimental results on standard datasets and architectures to demonstrate the efficacy of our approach.

연구 동기 및 목표

• 딥 러닝에서 수동 하이퍼파rameter 튜닝의 과제, 특히 학습률 선택의 핵심적인 역할을 해결하기 위해.
• 최적화 효율성을 향상시키기 위해 학습 중에 이론적으로 근거를 갖춘 학습률을 동적으로 조정하는 방법을 개발하기 위해.
• 원칙적인, 적응형 접근을 통해 히우리스틱 또는 고정 학습률 스케줄러에 대한 의존도를 줄이기 위해.
• 다양한 표준 데이터셋과 딥 러닝 아키텍처를 통해 제안된 방법을 검증하기 위해.

제안 방법

• 이 방법은 최적화 동역학을 바탕으로 한 이론적 프레임워크를 유도하여 학습 도중 실시간으로 학습률을 계산한다.
• 기울기 노름 또는 손실 곡률과 같은 학습 과정의 피드백을 이용해 학습률을 동적으로 조정한다.
• 스토케스틱 최적화의 안정성 조건에서 유도된 닫힌 형태의 표현식을 사용해 학습률을 계산한다.
• 기존의 딥 러닝 프레임워크와 원활하게 통합되며, 표준 학습 설정을 초과하는 추가 하이퍼파rameter가 필요하지 않다.
• 지역 최적화 행동에 기반해 적응하므로 더 빠른 수렴과 초기 학습률 설정에 대한 민감도 감소를 보장한다.

실험 결과

연구 질문

• RQ1 수동 튜닝 없이 최적화 궤적에 동적으로 적응하는 학습률 스케줄러를 어떻게 설계할 수 있는가?
• RQ2 학습 안정성을 보장하는 동적 학습률을 유도하기 위해 어떤 이론적 원칙이 지침이 될 수 있는가?
• RQ3 기존의 적응형 최적화 방법과 비교할 때, 제안된 방법은 수렴 속도와 일반화 성능 측면에서 어떻게 다른가?
• RQ4 제안된 스케줄러는 재튜닝 없이 다양한 아키텍처와 데이터셋에 일반화 가능한가?

주요 결과

• 제안된 적응형 학습률 스케줄러는 CIFAR-10과 ImageNet과 같은 표준 이미지 분류 벤치마크에서 더 빠른 수렴을 달성한다.
• 초기 학습률 설정에 대한 민감도가 감소하여 학습의 강건성이 향상된다.
• ResNet과 VGG를 포함한 여러 아키텍처에서 일관된 성능 향상이 실험적으로 확인된다.
• 이론적 프레임워크는 관측된 최적화 동역학과 일치하는 안정적인 학습률 조정을 성공적으로 예측한다.