[논문 리뷰] Rethinking Learning Rate Tuning in the Era of Large Language Models

Hongpeng Jin, Wenqi Wei외 3명|arXiv (Cornell University)|2023. 09. 16.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 최적화 학습률(Learning Rate, LR) 조정에 관해 통용되는 통념을 도전하며, 표준 정책(예: 코시안 감소)이 고정 학습률보다 성능이 떨어질 수 있음을 입증한다. 저자들은 LRBench++를 활용해 딥 네트워크(DNNs)와 LLMs 전반에 걸쳐 학습률 정책을 벤치마킹하며, 훈련 손실이 LLM 태스크 성능의 좋은 지표가 되지 못하고, 특히 ARC 및 HellaSwag 벤치마크에서 고정 학습률 스케줄이 적응형 정책을 능가할 수 있음을 밝혀냈다.

ABSTRACT

Large Language Models (LLMs) represent the recent success of deep learning in achieving remarkable human-like predictive performance. It has become a mainstream strategy to leverage fine-tuning to adapt LLMs for various real-world applications due to the prohibitive expenses associated with LLM training. The learning rate is one of the most important hyperparameters in LLM fine-tuning with direct impacts on both fine-tuning efficiency and fine-tuned LLM quality. Existing learning rate policies are primarily designed for training traditional deep neural networks (DNNs), which may not work well for LLM fine-tuning. We reassess the research challenges and opportunities of learning rate tuning in the coming era of Large Language Models. This paper makes three original contributions. First, we revisit existing learning rate policies to analyze the critical challenges of learning rate tuning in the era of LLMs. Second, we present LRBench++ to benchmark learning rate policies and facilitate learning rate tuning for both traditional DNNs and LLMs. Third, our experimental analysis with LRBench++ demonstrates the key differences between LLM fine-tuning and traditional DNN training and validates our analysis.

연구 동기 및 목표

• 대규모 언어 모델(LLM) 미세조정의 맥락에서 기존 학습률 정책의 효과성을 재평가하며, 기존 DNN 가정이 더 이상 적용되지 않을 수 있는 상황을 고려한다.
• 학습 손실과 태스크 중심 성능 지표 사이의 괴리 등, LLM 학습률 조정의 核심 과제를 규명한다.
• LRBench++를 개발하고 검증하여 기존 DNN와 LLM 전반에 걸쳐 학습률 정책의 체계적 평가를 위한 벤치마킹 도구로 활용한다.
• 고정 학습률 스케줄이 LLM 미세조정에서 널리 사용되는 적응형 스케줄(예: 코시안 감소)보다 우수할 수 있음을 경험적으로 입증한다.
• LLM 미세조정의 고유한 동역학을 고려해, 비용 효율적이고 성능 중심의 학습률 조정 전략으로 향후 연구를 이끌어낸다.

제안 방법

• 기존 DNN 훈련에서의 사용과 대비해, LLM 미세조정 맥락에서 학습률 정책(예: 코시안 감소, 웜업, ReduceLROnPlateau)을 재평가한다.
• DNN와 LLM 모두에 적용 가능한 표준화된 하이퍼파rameter 설정, 훈련 프로토콜, 평가 지표를 제공하는 벤치마킹 프레임워크인 LRBench++를 설계 및 구현한다.
• 훈련 손실 외에도 ARC 및 HellaSwag와 같은 태스크 중심 벤치마크를 포함한 다수의 평가 지표를 통합하여, 미세조정된 모델의 성능을 평가한다.
• 다양한 LLM(예: Alpaca-7B, Vicuna-7B, WizardLM-7B)과 데이터셋을 대상으로 고정, 코시안, 웜업 학습률 스케줄 간의 비교를 위한 통제 실험을 수행한다.
• 기본 최적화기로 Adam을 사용하며, 기울기 기반 최적화를 수행하며 표준 Adam 업데이트 규칙을 따르며 파라미터 업데이트를 추적한다: $\Theta_{t+1} = \Theta_t - \eta(t) \frac{\hat{M}_t}{\sqrt{\hat{V}_t} + \epsilon}$.
• 훈련 손실 추세와 최종 태스크 성능 간의 상관관계를 분석하며, 모델 성능 향상을 암시하는 비단조화적, 계단식 손실 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 기존 DNN에 설계된 표준 학습률 정책이 LLM 미세조정에 적용되었을 때 어떻게 작동하는가?
• RQ2 LLM 미세조정 중에 훈련 손실이 최종 태스크 성능(예: ARC, HellaSwag)과 어느 정도 상관관계를 가지는가?
• RQ3 특정 벤치마크에서 고정 학습률 스케줄이 코시안 감소와 같은 적응형 스케줄을 능가할 수 있는가?
• RQ4 LLM 미세조정과 기존 DNN 훈련 간 최적화 동역학의 주요 차이점은 무엇이며, 이는 학습률 정책의 효과성에 어떤 영향을 미치는가?
• RQ5 표준화된 벤치마킹 프레임워크인 LRBench++는 LLM을 위한 학습률 정책의 체계적 평가 및 선택을 어떻게 향상시킬 수 있는가?

주요 결과

• 고정 학습률 스케줄(예: 일정한 $2 \times 10^{-5}$)은 ARC 및 HellaSwag 벤치마크에서 적응형 정책(예: 코시안 감소)보다 일관되게 뛰어난 성능을 보이며, 가장 높은 태스크 중심 정확도를 달성한다.
• LLM 미세조정 중 훈련 손실은 비단조화적이고 계단식 감소 패턴을 보이며, 특히 제2 및 제3 에포크에 크게 떨어지는 경향이 있다. 이는 손실가 모델 성능의 신뢰할 수 있는 지표가 되지 못한다는 것을 시사한다.
• 고정 학습률 $2 \times 10^{-5}$의 경우 다른 스케줄보다 훈련 손실이 더 높았지만, ARC 및 HellaSwag에서 가장 우수한 성능을 기록하여 손실과 태스크 정확도 사이의 괴리를 입증한다.
• 실제로 널리 채택된 학습률 정책(예: Vicuna-7B 및 WizardLM-7B에서 $2 \times 10^{-5}$로 코시안 감소)이 최적의 결과를 내지 못함을 시사하며, 현재의 기본 설정이 최적화되어 있지 않다는 것을 시사한다.
• 손실 모니터링에 의존하는 상태 기반 학습률 스케줄러(예: ReduceLROnPlateau)는 LLM 미세조정에 효과적이지 않다. 이는 실제 태스크 성능를 반영하지 못하기 때문이다.
• 실험 결과는 LLM 미세조정이 기존 DNN 훈련과는 다를 수 있는 고유한 최적화 동역학을 지닌다는 것을 확인하며, 학습률 조정 전략을 재고할 필요성을 제기한다.