[論文レビュー] Towards Optimizing with Large Language Models

Pei-Fu Guo, Ying‐Hsuan Chen+2 more|arXiv (Cornell University)|Oct 8, 2023

Natural Language Processing Techniques被引用数 8

ひとこと要約

本論文は、繰り返しプロンプティングを用いて複数の最適化タスクにおけるLLMの最適化能力を評価し、3つの評価指標を導入し、データサイズが性能に与える影響を検討する。

ABSTRACT

In this work, we conduct an assessment of the optimization capabilities of LLMs across various tasks and data sizes. Each of these tasks corresponds to unique optimization domains, and LLMs are required to execute these tasks with interactive prompting. That is, in each optimization step, the LLM generates new solutions from the past generated solutions with their values, and then the new solutions are evaluated and considered in the next optimization step. Additionally, we introduce three distinct metrics for a comprehensive assessment of task performance from various perspectives. These metrics offer the advantage of being applicable for evaluating LLM performance across a broad spectrum of optimization tasks and are less sensitive to variations in test samples. By applying these metrics, we observe that LLMs exhibit strong optimization capabilities when dealing with small-sized samples. However, their performance is significantly influenced by factors like data size and values, underscoring the importance of further research in the domain of optimization tasks for LLMs.

研究の動機と目的

• LLMsが多様なタスクとデータサイズにおいて対話的な最適化を実行できるかを評価する。
• LLMベースの最適化の進捗・整合性・安定性を定量化する指標を導入する。
• データサイズやタスクタイプなど、LLMの最適化性能に影響を与える要因を特定する。

提案手法

• 4つの最適化アルゴリズム（勾配降下法、ヒルクライミング、グリッドサーチ、ブラックボックス最適化）をLLMのケーススタディとして用いる。
• 思考の連鎖（Chain of Thought）による反復プロンプティングフレームワークを適用し、各反復で新しい解を生成・評価する。
• 最適化の進捗・ ground truth との整合性・解の安定性を評価する3つの指標（Goal、Policy、Uncertainty）を定義・計算する。
• データサイズ感度を検証するため、次元数を変えた[0,10]^dの合成データセットを生成する。
• GPT-turbo-3.5（0613）を温度0.8で用い、5つのデータセットサイズと再現ごとに10回の反復を実施する。

Figure 1: Overview of our prompting strategy. (1) LLMs formulate the loss function based on given samples. (2) Given algorithm instructions and past results, LLM generates new solution. (3) Calculate loss of new solution and add the solution-score pairs to the prompt of next iteration. (4) Repeat se

実験結果

リサーチクエスチョン

• RQ1 LLMsは対話的・反復的プロンプティング設定で、異なる最適化パラダイムにおいて最適化を実行できるか。
• RQ2 データサイズとタスクタイプが、最適化性能・安定性・ground-truthアルゴリズムとの整合性にどのように影響するか。
• RQ3 提案されたGoal・Policy・Uncertaintyの指標は、タスクとデータサイズを跨いで最適化性能を頑健に捉えるか。
• RQ4 勾配ベースおよびグリッドサーチのタスクで、LLMsがground-truthの性能を達成・超える程度はどの程度か。ヒルクライミングのようなメタヒューリスティクスではどこで苦戦するか。

主な発見

• LLMsは特に小規模データサンプルで高い最適化能力を示す。
• 勾配降下法は最も強力で、データサイズの設定によってはground-truthを上回ることもある。
• グリッドサーチは大規模な探索空間にも強い性能を発揮する一方、ヒルクライミングには顕著な課題がある。
• 小さなデータサンプルでのブラックボックス最適化はLLMの固有の最適化能力を示すが、データサイズが増えると性能が低下する。
• Uncertaintyはデータサイズが小さいほど高く、データサイズが増えるにつれて安定性が向上する傾向がある。
• 自己一貫性プロンプティングは一部モデル（例：GPT-4）で安定性を向上させることがある一方、他のモデル（例：GPT-turbo-3.5）ではそうでない。

Figure 2: The Goal Metric and the Policy Metric hover from positive to near zero, signifying (1) substantial optimization capability (2) remarkable alignment between LLM’s output and ground truth. When the Goal Metric is low and the Policy Metric is close to zero, it signifies that the LLM performs