[논문 리뷰] Using Large Language Models for Hyperparameter Optimization

Michael R. Zhang, Nishkrit Desai외 3명|arXiv (Cornell University)|2023. 12. 07.

Machine Learning and Data Classification인용 수 7

한 줄 요약

이 논문은 초기 하이퍼파라미터 최적화(HPO)에서 대규모 언어 모델(LLM)을 결론 도출 도구로 사용하여, 모델 및 데이터셋 기술서를 바탕으로 하이퍼파라미터 설정이나 심지어 전체 학습 코드를 제안하도록 유도하는 방법을 제안한다. 실증적으로 LLM은 저예산 설정에서 랜덤 서치와 베이지안 최적화에 비해 성능이 유사하거나 뛰어나며, 고정된 하이퍼파라미터 공간을 넘어서 HPO를 자동화할 수 있는 효과적인 코드를 생성할 수 있다.

ABSTRACT

This paper explores the use of foundational large language models (LLMs) in hyperparameter optimization (HPO). Hyperparameters are critical in determining the effectiveness of machine learning models, yet their optimization often relies on manual approaches in limited-budget settings. By prompting LLMs with dataset and model descriptions, we develop a methodology where LLMs suggest hyperparameter configurations, which are iteratively refined based on model performance. Our empirical evaluations on standard benchmarks reveal that within constrained search budgets, LLMs can match or outperform traditional HPO methods like Bayesian optimization across different models on standard benchmarks. Furthermore, we propose to treat the code specifying our model as a hyperparameter, which the LLM outputs and affords greater flexibility than existing HPO approaches.

연구 동기 및 목표

• 기초적인 LLM이 기존의 방법 대신 하이퍼파라미터 최적화(HPO)를 효과적으로 이끌 수 있는지 조사하기.
• 특히 초기 단계 탐색에서 제약된 검색 예산 상황에서 LLM의 성능 평가하기.
• LLM이 전체 학습 코드를 생성하도록 유도하여 고정된 하이퍼파라미터 공간을 넘어서 HPO를 확장하기.
• 연쇄적 사고 추론이 다중 반복 과정에서 LLM 기반 HPO 성능에 미치는 영향 평가하기.
• LLM이 일반 목적의 보조자로서 하이퍼파라미터 튜닝을 자동화하고 향상시킬 수 있음을 보여주기.

제안 방법

• LLM은 데이터셋 기술서, 모델 아키텍처, 하이퍼파라미터의 정의된 검색 공간(예: 학습률, 배치 크기, 너비, 깊이, L2 정규화)을 포함하여 프롬프트된다.
• 모델은 JSON 형식의 하이퍼파라미터 설정을 출력하며, 이는 학습 및 검증을 통해 평가되어 지표(예: 검증 손실)를 도출한다.
• LLM은 관측된 지표와 이전 기록을 바탕으로 연쇄적 사고 추론 구조에서 반복적으로 새로운 설정을 제안한다.
• 모델 학습 코드를 하이퍼파라미터로 간주하여, 일반화를 향상시키고 인간이 정의한 검색 공간 제약을 줄이기 위해 LLM이 실행 가능한 PyTorch 코드를 생성하도록 유도한다.
• 표준 HPO 벤치마크(예: HPOBench)를 사용하여 신경망, 로지스틱 회귀, SVM, 랜덤 포레스트 등에서 평가한다.
• 성능은 가우스 프로세스 및 랜덤 포레스트 서rogate 모델을 사용한 베이지안 최적화와 랜덤 서치와 비교한다.

Figure 2 : Minimum validation error achieved after $10$ function evaluations from different hyperparameter optimizers on datasets from HPOBench [ 17 ] . The benchmark defines a configuration search space on neural networks for learning rates, $\ell_{2}$ regularization, width, depth, and batch size.

실험 결과

연구 질문

• RQ1 LLM은 저예산 설정에서 기존의 HPO 기반 방법보다 효과적으로 하이퍼파라미터를 최적화할 수 있는가?
• RQ2 연쇄적 사고 추론은 LLM이 다중 반복 과정에서 복잡한 하이퍼파라미터 검색 공간을 탐색하는 데 어떤 영향을 미치는가?
• RQ3 LLM은 얼마나 효과적으로 유효하고 성능이 우수한 학습 코드를 생성하여 고정된 하이퍼파라미터 설정을 넘어서 HPO를 향상시킬 수 있는가?
• RQ4 LLM이 하이퍼파라미터 성능에 대해 추론하는 능력이 다양한 모델 유형과 데이터셋 간에 일반화되는가?
• RQ5 LLM은 명시적인 검색 공간 정의 없이도 최적의 설정을 식별할 수 있는가? 이는 인간의 공학적 노력 감소에 기여하는가?

주요 결과

• 표준 HPO 벤치마크에서 LLM은 단 10회의 평가로도 랜덤 서치와 베이지안 최적화와 유사하거나 뛰어난 성능을 달성했다.
• 5회의 평가 예산에서 LLM 기반 코드 생성은 하이퍼파라미터 튜닝에서 랜덤 서치를 능가했으며, 자동화 잠재력이 입증되었다.
• 연쇄적 사고 추론의 사용은 LLM이 30회의 평가 단계 동안 뛰어난 성능을 유지할 수 있도록 해, 순차적 결정 부문에서의 강건성을 보여주었다.
• LLM은 2차원 토이 최적화 문제에서 최적 설정을 성공적으로 식별했으며, 손실 표면의 탐색 및 이용을 효과적으로 수행했다.
• LLM이 생성한 코드는 강력한 초기화를 제공하여 하이퍼파라미터 검색 공간의 수동 정의 필요성을 줄였다.
• 다양한 실험에서 초기 설정이 alpha=0.001, batch_size=32, depth=3, learning_rate_init=0.001, width=64일 때 손실이 0.058537로 가장 낮았으며, LLM은 반복적 분석을 통해 이를 정확히 최적이라고 식별했다.

Figure 4 : Test loss trajectory comparison with a standard error displayed over $5$ runs. We randomly sample 200 configurations and use a bootstrapped sample to estimate the standard error for a random search. Code generation and configuration-based search both compare favorably to random search.