[논문 리뷰] Selecting and Composing Learning Rate Policies for Deep Neural Networks

Yanzhao Wu, Ling Liu|arXiv (Cornell University)|2022. 10. 24.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 동적 튜닝 메커니즘과 LRBench라고 불리는 추천 시스템을 사용하여 딥 네ural 네트워크(DNNs)의 최적 학습률(LR) 정책을 체계적으로 선택하고 조합하는 방법을 제안한다. 이는 목표 정확도 및 학습 시간 제약 조건을 기반으로 LR 정책을 자동으로 검증할 수 있게 하며, 기존의 기본 정책보다 학습 시간을 1.6–6.7× 감소시키면서 다양한 DNN 모델과 데이터셋에서 더 높은 테스트 정확도를 달성한다.

ABSTRACT

The choice of learning rate (LR) functions and policies has evolved from a simple fixed LR to the decaying LR and the cyclic LR, aiming to improve the accuracy and reduce the training time of Deep Neural Networks (DNNs). This paper presents a systematic approach to selecting and composing an LR policy for effective DNN training to meet desired target accuracy and reduce training time within the pre-defined training iterations. It makes three original contributions. First, we develop an LR tuning mechanism for auto-verification of a given LR policy with respect to the desired accuracy goal under the pre-defined training time constraint. Second, we develop an LR policy recommendation system (LRBench) to select and compose good LR policies from the same and/or different LR functions through dynamic tuning, and avoid bad choices, for a given learning task, DNN model and dataset. Third, we extend LRBench by supporting different DNN optimizers and show the significant mutual impact of different LR policies and different optimizers. Evaluated using popular benchmark datasets and different DNN models (LeNet, CNN3, ResNet), we show that our approach can effectively deliver high DNN test accuracy, outperform the existing recommended default LR policies, and reduce the DNN training time by 1.6$\sim$6.7$ imes$ to meet a targeted model accuracy.

연구 동기 및 목표

• 고정된 학습 시간과 목표 정확도 제약 조건 하에서 딥 네ural 네트워크(DNNs)의 효과적인 학습률(LR) 정책을 선택하는 데 도전하는 것.
• 시간이 많이 소요되고 최적의 선택이 어려운 수동적이고 시행착오적인 LR 튜닝의 한계를 극복하는 것.
• 다양한 DNN 모델, 데이터셋, 최적화 알고리즘에 걸쳐 고성능의 LR 정책을 추천하고 조합할 수 있는 체계적인 프레임워크를 개발하는 것.
• 다양한 LR 정책과 최적화 알고리즘 간의 상호 영향을 조사하여 DNN 학습 효율성과 모델 정확도에 미치는 영향을 분석하는 것.
• 기본 설정이나 히ュ리스틱 설정에 의존하는 것에서 벗어나, 자동화되고 확장 가능한 학습률 함수 하이퍼파ram터 튜닝 솔루션을 제공하는 것.

제안 방법

• 사전 정의된 정확도 및 학습 시간 목표에 기반해 LR 정책을 자동으로 검증할 수 있는 동적 LR 튜닝 메커니즘을 설계한다.
• LRBench를 구현하여 다양한 LR 함수(예: 고정, 감소, 순환)에서 동적 파ram터 튜닝을 통해 LR 정책을 선택하고 조합한다.
• 다양한 LR 함수(예: 고정 + 감소)를 조합하여 학습 효율성을 향상시키는 이종적 LR 정책 조합을 지원한다.
• Ray Tune와 같은 기존 하이퍼파ram터 튜닝 프레임워크와 통합하여 LR 공간에서 분산되고 효율적인 탐색을 가능하게 한다.
• 다양한 최적화 알고리즘(예: Adam, SGD)이 LR 정책 효과성에 미치는 영향을 평가하여 상호 의존성이 뚜렷한 것을 확인한다.
• 표준 데이터셋(예: CIFAR-10, MNIST)과 모델(예: LeNet, ResNet)을 대상으로 체계적인 벤치마킹 파이프라인을 구축하여 정책 성능을 검증한다.

실험 결과

연구 질문

• RQ1 딥 네ural 네트워크 학습에서 목표 정확도 및 학습 시간 제약 조건을 충족시키기 위해 학습률 정책을 어떻게 체계적으로 선택하고 조합할 수 있는가?
• RQ2 다양한 LR 함수(예: 고정, 감소, 순환)를 하나의 정책에 조합할 경우 모델 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ3 다양한 최적화 알고리즘(예: Adam, SGD)은 다양한 LR 정책과 어떻게 상호작용하며, 이는 학습 효율성과 모델 성능에 어떤 영향을 미치는가?
• RQ4 LRBench와 같은 추천 시스템은 딥 러닝 프레임워크에서 제공하는 기본 LR 정책보다 정확도와 학습 속도 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 자동화된 LR 정책 튜닝은 딥 네ural 네트워크 학습에서 수동 하이퍼파ram터 튜닝의 필요성을 어느 정도 줄일 수 있는가?

주요 결과

• 제안된 LR 튜닝 메커니즘은 목표 정확도 및 학습 시간 제약 조건에 기반해 LR 정책를 성공적으로 검증하며, 정책 품질에 대한 자동 검증을 가능하게 한다.
• LRBench는 주요 딥 러닝 프레임워크(예: TensorFlow, Caffe, PyTorch)에서 제공하는 기본 LR 정책보다 뛰어나며, 벤치마크 데이터셋에서 더 높은 테스트 정확도를 달성한다.
• LeNet, CNN3, ResNet 모델 전반에서 기본 정책 대비 학습 시간을 1.6×에서 6.7×까지 감소시키면서도 모델 정확도를 유지하거나 향상시킨다.
• 복합 LR 정책(여러 LR 함수를 조합한 것)은 단일 함수 정책보다 뛰어난 성능을 보이며, 이종적 조합이 더 효과적임을 입증한다.
• LR 정책과 최적화 알고리즘 간에 상당한 상호 영향력이 존재한다: 동일한 LR 정책도 Adam과 SGD와 같은 다른 최적화 알고리즘에서는 다르게 작동하므로, 이들을 함께 고려해야 한다.
• 이 프레임워크는 다양한 데이터셋(예: MNIST, CIFAR-10)과 DNN 아키텍처에서 일반화 가능하고 효과적이며, 실제 학습 시나리오에서 넓은 적용 가능성을 확인한다.