[論文レビュー] Using Large Language Models for Hyperparameter Optimization

Michael R. Zhang, Nishkrit Desai+3 more|arXiv (Cornell University)|Dec 7, 2023

Machine Learning and Data Classification被引用数 7

ひとこと要約

本稿では、大規模言語モデル（LLM）をハイパラメータ最適化（HPO）における意思決定者として用いる手法を提案している。モデルとデータセットの記述に基づき、LLMにハイパラメータ設定や、場合によっては完全な学習コードの提案を促す。実験的に、LLMは低予算設定下でもランダムサーチやベイズ最適化と同等またはそれ以上の性能を示し、固定されたハイパラメータ空間を超えてHPOを自動化する有効なコード生成が可能であることが示された。

ABSTRACT

This paper explores the use of foundational large language models (LLMs) in hyperparameter optimization (HPO). Hyperparameters are critical in determining the effectiveness of machine learning models, yet their optimization often relies on manual approaches in limited-budget settings. By prompting LLMs with dataset and model descriptions, we develop a methodology where LLMs suggest hyperparameter configurations, which are iteratively refined based on model performance. Our empirical evaluations on standard benchmarks reveal that within constrained search budgets, LLMs can match or outperform traditional HPO methods like Bayesian optimization across different models on standard benchmarks. Furthermore, we propose to treat the code specifying our model as a hyperparameter, which the LLM outputs and affords greater flexibility than existing HPO approaches.

研究の動機と目的

• 基礎的LLMが従来の手法に代わってハイパラメータ最適化（HPO）を効果的に導くことができるかを調査すること。
• 特に初期段階の探索において、制限された探索予算下でのLLMのパフォーマンスを評価すること。
• LLMに完全な学習コードを生成させることで、固定されたハイパラメータ空間を超えたHPOの拡張を図ること。
• 複数の反復において、チェーン・オブ・チーキング推論がLLMベースHPOのパフォーマンスに与える影響を評価すること。
• LLMがハイパラメータチューニングの自動化と改善を支援する汎用アシスタントとして機能できることを示すこと。

提案手法

• LLMに、データセットの記述、モデルアーキテクチャ、およびハイパラメータの定義済み探索空間（例：学習率、バッチサイズ、幅、深さ、L2正則化）を提示する。
• モデルはJSON形式でハイパラメータ設定を出力し、それを学習・検証によって評価し、指標（例：検証損失）を取得する。
• LLMは観測された指標と過去の履歴を用いて、チェーン・オブ・チーリング推論の枠組みで段階的に新たな設定を提案する。
• モデルの学習コードをハイパラメータとして扱い、LLMに実行可能なPyTorchコードを生成させることで、一般化性能を向上させ、人為的な探索空間制約を軽減する。
• 標準的なHPOベンチマーク（例：HPOBench）を用い、ニューラルネットワーク、ロジスティック回帰、SVM、ランダムフォレストを対象に評価する。
• ランダムサーチおよびガウス過程とランダムフォレストの代替モデルを用いたベイズ最適化と、パフォーマンスを比較する。

Figure 2 : Minimum validation error achieved after $10$ function evaluations from different hyperparameter optimizers on datasets from HPOBench [ 17 ] . The benchmark defines a configuration search space on neural networks for learning rates, $\ell_{2}$ regularization, width, depth, and batch size.

実験結果

リサーチクエスチョン

• RQ1 LLMは低予算設定下でも、従来のHPOベースラインを上回る形でハイパラメータを最適化できるか？
• RQ2 チェーン・オブ・チーリング推論は、複数反復にわたる複雑なハイパラメータ探索空間のナビゲーション能力に、LLMにどのように影響を与えるか？
• RQ3 LLMは、固定されたハイパラメータ設定を超えて、有効かつ高性能な学習コードをどの程度生成できるか？
• RQ4 LLMがハイパラメータパフォーマンスについての推論能力を、多様なモデルタイプやデータセットに一般化できるか？
• RQ5 明示的な探索空間定義なしに、LLMが最適な設定を特定でき、人的な工学的作業を削減できるか？

主な発見

• 標準的なHPOベンチマークにおいて、LLMはわずか10回の評価でランダムサーチやベイズ最適化と同等またはそれ以上のパフォーマンスを達成した。
• 5回の評価予算下でも、LLMベースのコード生成はハイパラメータチューニングにおいてランダムサーチを上回り、自動化の可能性を示した。
• チェーン・オブ・チーリング推論の使用により、LLMは30回の評価ステップにわたり安定したパフォーマンスを維持でき、逐次的意思決定における頑健性を示した。
• LLMは2次元のトロイ問題において最適な設定を正しく特定し、損失関数のランドスケープを効果的に探索・利用した。
• LLMが生成したコードは初期化として強力な役割を果たし、ハイパラメータ探索空間の人為的定義の必要性を低減した。
• 複数の実験において、初期設定（alpha=0.001、batch_size=32、depth=3、learning_rate_init=0.001、width=64）が最小損失（0.058537）を達成し、LLMは段階的分析を通じてこれを正しく最適と特定した。

Figure 4 : Test loss trajectory comparison with a standard error displayed over $5$ runs. We randomly sample 200 configurations and use a bootstrapped sample to estimate the standard error for a random search. Code generation and configuration-based search both compare favorably to random search.