[논문 리뷰] REX: Revisiting Budgeted Training with an Improved Schedule

John Chen, C. Wolfe외 1명|arXiv (Cornell University)|2021. 07. 09.

Reservoir Engineering and Simulation Methods참고 문헌 41인용 수 5

한 줄 요약

이 논문은 저비용 및 고비용 학습 환경에서 기존 스케줄보다 뛰어난 성능을 내는 새로운 학습률 스케줄인 REX를 제안한다. REX는 반사 지수 프로파일과 반복 샘플링을 조합하여, 추가적인 하이퍼파rameter, 계산 또는 저장 공간 없이도 이미지 분류, 객체 검출, NLP 작업에서 최신 기술 수준의 성능을 달성한다. SGD 및 Adam 최적화기 모두에서 82개의 실험 설정에서 선형, 단계, 코사인, OneCycle 스케줄을 일관되게 능가한다.

ABSTRACT

Deep learning practitioners often operate on a computational and monetary budget. Thus, it is critical to design optimization algorithms that perform well under any budget. The linear learning rate schedule is considered the best budget-aware schedule, as it outperforms most other schedules in the low budget regime. On the other hand, learning rate schedules -- such as the exttt{30-60-90} step schedule -- are known to achieve high performance when the model can be trained for many epochs. Yet, it is often not known a priori whether one's budget will be large or small; thus, the optimal choice of learning rate schedule is made on a case-by-case basis. In this paper, we frame the learning rate schedule selection problem as a combination of $i)$ selecting a profile (i.e., the continuous function that models the learning rate schedule), and $ii)$ choosing a sampling rate (i.e., how frequently the learning rate is updated/sampled from this profile). We propose a novel profile and sampling rate combination called the Reflected Exponential (REX) schedule, which we evaluate across seven different experimental settings with both SGD and Adam optimizers. REX outperforms the linear schedule in the low budget regime, while matching or exceeding the performance of several state-of-the-art learning rate schedules (linear, step, exponential, cosine, step decay on plateau, and OneCycle) in both high and low budget regimes. Furthermore, REX requires no added computation, storage, or hyperparameters.

연구 동기 및 목표

• 학습 예산(에포크 수)이 불확실하거나 제한적인 경우 최적의 학습률 스케줄을 선택하는 데 도전하는 것.
• 추가 하이퍼파rameter가 필요 없이 저비용 및 고비용 환경 모두에서 잘 작동하는 단일 학습률 스케줄을 식별하는 것.
• 프로파일 및 샘플링 빈도 설계를 통해 학습률 스케줄의 통합 프레임워크를 제안하는 것.
• 이국적 딥러닝 작업, 즉 이미지 분류, 객체 검출, NLP를 포함한 다양한 작업에서 제안된 스케줄을 경험적으로 검증하는 것.

제안 방법

• 저자들은 학습률 스케줄 선택 문제를 연속 함수 형태의 프로파일 유형과 업데이트 빈도인 샘플링 빈도에 대한 동시 최적화 문제로 재정의한다.
• 반사 및 스케일링된 지수 감쇠 함수로 정의된 반사 지수(REX) 프로파일을 도입한다. 이는 높은 값에서 시작하여 빠르게 감쇠하고 나서 평탄해지는 특징을 가진다.
• REX 스케줄은 매 반복마다 업데이트하는 샘플링 빈도를 사용하여 추가적인 계산 비용 없이도 지속적인 적응을 보장한다.
• 이 방법은 ResNet, DenseNet, YOLO, BERT 및 기타 모델을 사용한 CIFAR, ImageNet, COCO, GLUE 벤치마크에서 82개의 실험 설정을 통해 평가된다.
• SGD 및 Adam 최적화기 하에서 선형, 단계, 코사인, 지수 감쇠, OneCycle, 플랫폼 감쇠 스케줄과 REX 스케줄을 비교한다.
• 추가 하이퍼파rameter, 저장 공간 또는 계산 자원이 필요 없으며, REX는 기존 스케줄의 즉각적인 대체 가능하다.

실험 결과

연구 질문

• RQ1 단일 학습률 스케줄이 저비용 및 고비용 학습 환경 모두에서 뛰어난 성능을 내는가?
• RQ2 프로파일 유형과 샘플링 빈도의 조합이 예산 제약이 있는 학습에서 일반화 및 강건성에 어떤 영향을 미치는가?
• RQ3 REX 스케줄이 선형, 단계, 코사인, OneCycle과 같은 기존 스케줄보다 다양한 딥러닝 작업에서 뛰어나게 성능을 내는가?
• RQ4 저비용 설정에서 초기 학습률 설정이 잘못되었을 경우에도 REX 스케줄은 강건한가?
• RQ5 REX는 추가 하이퍼파rameter나 계산 오버헤드 없이 배포 가능한가?

주요 결과

• REX는 28개 실험의 70%에서 최고의 Top-1 성능를 기록했고, 모든 설정에서 92%의 실험에서 Top-3 성능를 확보했다.
• 저비용 환경(전체 에포크 수의 1%, 5%, 10%)에서 REX는 현재 예산 제약 학습에서 금 standard로 여겨지는 선형 스케줄을 능가했다.
• 고비용 환경(전체 에포크 수의 25%, 50%, 100%)에서 REX는 OneCycle 및 코사인 감쇠 스케줄을 포함한 모든 다른 스케줄의 성능를 매칭하거나 초월했다.
• BERT BASE -GLUE 벤치마크에서 REX는 1, 2, 3개의 피니튜닝 에포크 모두에서 평균 점수 82.8을 기록하여 선형 스케줄(82.6)과 OneCycle(82.7)을 능가했다.
• 이미지 분류 작업(ResNet-20/CIFAR-10 및 ResNet-38/CIFAR-100)에서 REX는 다양한 초기 학습률 범위에서도 뛰어난 성능를 유지하며 강건성을 입증했다.
• 다양한 초기 학습률 설정에서도 REX 스케줄의 상대적 순위가 유지되었으며, 이는 열악한 하이퍼파ram터 설정 하에서도 일관된 슈퍼리어리티를 보여준다.