[論文レビュー] FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance

Lingjiao Chen, Matei Zaharia+1 more|arXiv (Cornell University)|May 9, 2023

Topic Modeling被引用数 50

ひとこと要約

FrugalGPTはLLMカスケードを導入し、複数のLLM APIの中から適応的に選択することでコストを最大98%削減しつつ、最良の単一LLMの精度に匹敵またはそれを上回る。

ABSTRACT

There is a rapidly growing number of large language models (LLMs) that users can query for a fee. We review the cost associated with querying popular LLM APIs, e.g. GPT-4, ChatGPT, J1-Jumbo, and find that these models have heterogeneous pricing structures, with fees that can differ by two orders of magnitude. In particular, using LLMs on large collections of queries and text can be expensive. Motivated by this, we outline and discuss three types of strategies that users can exploit to reduce the inference cost associated with using LLMs: 1) prompt adaptation, 2) LLM approximation, and 3) LLM cascade. As an example, we propose FrugalGPT, a simple yet flexible instantiation of LLM cascade which learns which combinations of LLMs to use for different queries in order to reduce cost and improve accuracy. Our experiments show that FrugalGPT can match the performance of the best individual LLM (e.g. GPT-4) with up to 98% cost reduction or improve the accuracy over GPT-4 by 4% with the same cost. The ideas and findings presented here lay a foundation for using LLMs sustainably and efficiently.

研究の動機と目的

• 多様なLLM APIを照会する高コストの問題と予算を意識した使用の必要性を動機づける。
• 3つのコスト削減戦略を提案する：プロンプト適応、LLM近似、LLMカスケード。
• 予算制約下で性能を維持しつつ、安価なモデルへ問い合わせを三逼 triageするFrugalGPT実装（LLMカスケード）の単純なデモを示す。

提案手法

• K個のLLM APIを照会するための予算制約付き問題を定義し、1照会あたりのコスト要素を明示する。
• 3つのコスト削減戦略を説明する：プロンプト適応（小さなプロンプト、プロンプト選択、クエリ連結）、LLM近似（完了キャッシュ、安価なモデルの微調整）、LLMカスケード（生成スコアリング＋API選択のルーター）。
• FrugalGPTをChatGPT、GPT-3、GPT-4などを用いた3段のカスケードとして実装し、コスト制約の下で報酬を最大化するクエリ固有のAPIシーケンスを学習する。
• リスクを抑えつつ実用的な最適化を提供するため、APIリストと閾値を選択する混合整数最適化を定式化し、探索空間を剪定して目的関数を補間する実用的なオプティマイザを提供する。

実験結果

リサーチクエスチョン

• RQ1 予算制約の下で複数のLLM APIを使用することは、最良の単一LLMと同等以上のタスク性能を達成できるか。
• RQ2 適応型LLMカスケードを用いたコスト削減と精度のトレードオフはさまざまなタスクでどの程度達成可能か。
• RQ3 プロンプト適応、LLM近似、カスケード戦略はFrugalGPTシステムの構築時にどのように相互作用し、複利効果を生み出すか。
• RQ4 現実世界の設定でLLMカスケードをトレーニング・デプロイする際の実用的な制約と必要条件は何か。

主な発見

Dataset	Best invidual LLM	Cost to reach the same accuracy	Cost Savings
HEADLINES	GPT-4	33.1	98.3%
OVERULLING	GPT-4	9.7	73.3%
COQA	GPT-3	72.5	59.2%

• FrugalGPTは最良の個別LLM（例：GPT-4）と同等の性能を、最大で98%のコスト削減で達成できる。
• FrugalGPTは評価タスクで同じコストでGPT-4を上回る精度を最大で4%向上できる。
• HEADLINES、OVERRULING、COQA全体でFrugalGPTは大幅なコスト削減（50%–98%）を実現しつつ精度を維持または向上させる。
• カスケードは生成の多様性を活用し、安価なモデルが高価なモデルの誤りを正しく補い、全体の性能を改善する。
• ケーススタディでは、FrugalGPTはGPT-4への依存を、信頼できる出力を提供する場合にGPT-JおよびGPT-Jライクなモデルを順次照会することで削減する。