[論文レビュー] Cost-Effective Hyperparameter Optimization for Large Language Model Generation Inference

Chi Wang, Susan Xueqing Liu+1 more|arXiv (Cornell University)|Mar 8, 2023

Topic Modeling被引用数 11

ひとこと要約

EcoOptiGen はコスト認知型のベイズ/局所探索と剪定を用いて、予算制約の下で推論ハイパーパラメータを共同調整し、複数の LLM タスクにおけるデフォルト HELM 設定よりもユーティリティを向上させます。

ABSTRACT

Large Language Models (LLMs) have sparked significant interest in their generative capabilities, leading to the development of various commercial applications. The high cost of using the models drives application builders to maximize the value of generation under a limited inference budget. This paper presents a study of optimizing inference hyperparameters such as the number of responses, temperature and max tokens, which significantly affects the utility/cost of text generation. We design a framework named EcoOptiGen which leverages economical hyperparameter optimization and cost-based pruning. Experiments with the GPT-3.5/GPT-4 models on a variety of tasks verify its effectiveness. EcoOptiGen is implemented in the `autogen' package of the FLAML library: \url{https://aka.ms/autogen}.

研究の動機と目的

• 固定コスト予算の下でユーティリティを最大化するために推論時ハイパーパラメータを最適化する必要性を動機づける。
• コストベースの剪定を備えた経済的なハイパーパラメータ最適化フレームワークである EcoOptiGen を提案する。
• 結合ハイパーパラメータ調整が、素朴なデフォルト設定や単一パラメータの調整よりも良い結果をもたらすことを示す。
• コード生成、数学問題解決、テキスト要約タスクの各領域で有効性を示す。

提案手法

• コスト予算の下で生成品質を定量化するチューニングデータとユーティリティ関数を定義する。
• 効率のためにベイズ最適化と局所探索を組み合わせた経済的な探索戦略（BlendSearch）を用いる。
• コスト/トークンに基づいて無効な試行を早期に破棄する剪定戦略を備えた構成評価器を導入する。
• デフォルトの探索空間を提供し、n、max_tokens、temperature、top_p、プロンプトなどのハイパーパラメータのユーザーカスタマイズを可能にする。
• 段階的データサブサンプリングとHoeffding-Serfling 偏差境界を用いて試行を剪定しトークンを節約する。
• APPS、HumanEval、MATH、XSum の GPT-3.5/GPT-4 系モデルに EcoOptiGen を適用し、HELM や他のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 与えられた推論予算の下で、デフォルトの HELM 設定と比較して EcoOptiGen はどれくらいのユーティリティを獲得できるか？
• RQ2 推論予算を変えると EcoOptiGen の最適化結果はどう変化するか？
• RQ3 調整済みのとき、さまざまな GPT-3.5/ChatGPT モデルで EcoOptiGen はどのように性能を発揮するか？
• RQ4 応答数を増やすだけより、結合ハイパーパラメータ最適化の方が効果的か？
• RQ5 剪定が最適化の効率と最終的なユーティリティに与える影響は何か？

主な発見

方法	APPS	HumanEval	MATH	XSum
HELM	0.03	0.465	0.378	0.140
EcoOptiGen (HELM budget)	0.05	0.521	0.414	0.144
Search	0	0.493	0.769	0.136
Search+PSR	0	0.493	0.739	-
EcoOptiGen	0.05	0.792	0.771	0.144
HELM (modified)	0.03	0.701	0.403	0.140

• EcoOptiGen は 4 つのデータセットすべてで HELM の未調整の最良モデルを上回る。
• 剪定と複数のハイパーパラメータの結合調整は、非剪定または単一パラメータ手法に比べて著しい効率と性能の向上をもたらす。
• 調整済みモデルは HELM 推奨モデルと異なる場合があり、最も性能の高いモデルはデータセットと予算によって異なる。
• 推論予算を増やすと、最適化予算が十分であれば一般に高い最適化ユーティリティが実現できる。
• MATH で ChatGPT モデルを評価する際、調整済みの GPT-3.5-turbo が特定のレベルで未調整の GPT-4 を上回ることがあり、モデル選択はタスクと予算に依存することを示している。