[논문 리뷰] Demystifying Learning Rate Policies for High Accuracy Training of Deep Neural Networks

Yanzhao Wu, Ling Liu외 7명|arXiv (Cornell University)|2019. 08. 18.

Machine Learning and Data Classification참고 문헌 28인용 수 14

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNN) 학습을 위한 최적의 학습률(LR) 정책을 평가하고 추천하는 데스크톱 벤치마크 시스템인 LRBench를 제안한다. 분류 신뢰도, 분산, 비용, 내성 등 지표를 사용해 13개의 LR 함수를 분석함으로써, 높은 정확도와 효율성을 갖춘 LR 스케줄을 식별하고 Caffe와 같은 프레임워크에서 수동 튜닝의 노력을 줄인다.

ABSTRACT

Learning Rate (LR) is an important hyper-parameter to tune for effective training of deep neural networks (DNNs). Even for the baseline of a constant learning rate, it is non-trivial to choose a good constant value for training a DNN. Dynamic learning rates involve multi-step tuning of LR values at various stages of the training process and offer high accuracy and fast convergence. However, they are much harder to tune. In this paper, we present a comprehensive study of 13 learning rate functions and their associated LR policies by examining their range parameters, step parameters, and value update parameters. We propose a set of metrics for evaluating and selecting LR policies, including the classification confidence, variance, cost, and robustness, and implement them in LRBench, an LR benchmarking system. LRBench can assist end-users and DNN developers to select good LR policies and avoid bad LR policies for training their DNNs. We tested LRBench on Caffe, an open source deep learning framework, to showcase the tuning optimization of LR policies. Evaluated through extensive experiments, we attempt to demystify the tuning of LR policies by identifying good LR policies with effective LR value ranges and step sizes for LR update schedules.

연구 동기 및 목표

• 딥 뉴럴 네트워크(DNN) 학습을 위한 13개의 학습률(LR) 함수와 그 관련 정책을 체계적으로 평가하고 비교하는 것.
• 수동 하이퍼파rameter 튜닝의 높은 비용과 어려움을 해결하기 위해, LR 정책 선택을 자동화하는 벤치마킹 시스템을 제안하는 것.
• 시험·오류 튜닝에 의존하는 것을 줄이기 위해, 데이터셋과 DNN 아키텍처에 맞게 최적의 LR 값 범위와 업데이트 스케줄을 식별하는 것.
• 실증적 평가를 바탕으로 내성적이고 고성능인 LR 정책을 추천함으로써 학습 효율성과 모델 정확도를 향상시키는 것.
• 유사한 데이터셋과 모델을 위한 과거 튜닝 결과를 저장하고 재사용함으로써 DNN 학습 작업 간 지식 공유를 가능하게 하는 것.

제안 방법

• 고정, 단계 감소, 지수 감소, 역시간 감소, 다항식, 순환(TRI, TRI2, TRIEXP), 사인파(SIN, SIN2, SINEXP), 코사인 감소 함수를 포함한 13개의 LR 함수에 대한 종합적 특성 분석을 제안한다.
• 학습률 정책 간 객관적인 비교를 위해 분류 신뢰도, 분산, 비용, 내성의 네 가지 평가 지표를 도입한다.
• 제안된 지표를 사용해 LR 정책 평가를 자동화하는 오픈소스 벤치마킹 시스템인 LRBench를 개발한다.
• LeNet, CNN3, ResNet을 사용해 MNIST와 CIFAR-10에서 체계적인 실험 설정을 수행해 LR 정책 성능을 테스트한다.
• 메타데이터와 유사도 기반 순위 매기기를 활용해 새로운 데이터셋이나 모델에 대해 이전에 검증된 LR 정책을 추천한다.
• 지표를 적용해 비효율적이거나 불안정한 LR 정책을 식별하고 걸러내어 튜닝 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 DNN 아키텍처와 데이터셋에서 가장 높은 테스트 정확도를 달성하는 학습률 함수와 파라미터 설정은 무엇인가?
• RQ2 다양한 LR 정책 파라미터(예: 범위, 단계 크기, 감소율)는 학습 수렴성과 모델 내성에 어떤 영향을 미치는가?
• RQ3 표준화된 방식으로 LR 정책의 유용성, 비용, 내성성을 신뢰성 있게 평가하고 비교할 수 있는 지표는 무엇인가?
• RQ4 LRBench와 같은 벤치마킹 시스템은 수동 튜닝의 노력은 줄이고 학습 결과를 향상시킬 수 있는가?
• RQ5 유사한 데이터셋과 모델 아키텍처 간에 LR 정책 추천은 얼마나 잘 전이되는가?

주요 결과

• LRBench는 다양한 데이터셋과 모델에서 고성능 LR 정책을 성공적으로 식별하여, 기본 설정이나 잘못 튜닝된 스케줄보다 훨씬 높은 테스트 정확도를 달성한다.
• 코사인 감소(COS)와 삼각형2(TRI2) 정책은 일관되게 높은 분류 신뢰도와 낮은 분산을 보이며, 다양한 학습 시나리오에서 내성적인 선택으로서 유용하다.
• 초기 학습률이 크고 적응형 감소를 갖는 정책, 예를 들어 CLR 계열의 정책(예: TRI2, SIN2)은 뛰어난 성능을 보이며, 슈퍼컨버전스 개념을 뒷받침한다.
• 연구 결과, 특히 단계 크기와 감소율에서 최적화되지 않은 설정은 잘 알려진 LR 함수일지라도 높은 분산과 열악한 수렴을 초래할 수 있음을 밝혔다.
• 벤치마킹 시스템은 데이터셋과 모델 유사도를 기반으로 이전에 검증된 정책을 추천함으로써 수동 튜닝 비용을 줄이고 학습 설정을 가속화한다.
• 제안된 지표(신뢰도, 분산, 비용, 내성)는 고성능과 열악한 성능을 보이는 LR 정책를 효과적으로 구분하여 신뢰성 있는 정책 선택을 가능하게 한다.