[論文レビュー] CEBench: A Benchmarking Toolkit for the Cost-Effectiveness of LLM Pipelines

Wei Sun, Jiaqi Wang+4 more|arXiv (Cornell University)|Jun 20, 2024

Advancements in Photolithography Techniques被引用数 5

ひとこと要約

CEBenchは、コストと有効性のバランスを取るLLMパイプラインの多目的ベンチマークのための、オープンソースで設定駆動型のツールキットです。ローカルデプロイメント、RAG、オンラインLLMサービスをサポートし、パレート最適な構成を提案するプラン推奨機能を備えています。

ABSTRACT

Online Large Language Model (LLM) services such as ChatGPT and Claude 3 have transformed business operations and academic research by effortlessly enabling new opportunities. However, due to data-sharing restrictions, sectors such as healthcare and finance prefer to deploy local LLM applications using costly hardware resources. This scenario requires a balance between the effectiveness advantages of LLMs and significant financial burdens. Additionally, the rapid evolution of models increases the frequency and redundancy of benchmarking efforts. Existing benchmarking toolkits, which typically focus on effectiveness, often overlook economic considerations, making their findings less applicable to practical scenarios. To address these challenges, we introduce CEBench, an open-source toolkit specifically designed for multi-objective benchmarking that focuses on the critical trade-offs between expenditure and effectiveness required for LLM deployments. CEBench allows for easy modifications through configuration files, enabling stakeholders to effectively assess and optimize these trade-offs. This strategic capability supports crucial decision-making processes aimed at maximizing effectiveness while minimizing cost impacts. By streamlining the evaluation process and emphasizing cost-effectiveness, CEBench seeks to facilitate the development of economically viable AI solutions across various industries and research fields. The code and demonstration are available in https://github.com/amademicnoboday12/CEBench.

研究の動機と目的

• データプライバシーとハードウェアコストの制約の下で、ローカルLLMデプロイメントのコスト意識型ベンチマークの必要性に対応する。
• LLM、RAG設定、プロンプト全体のベンチマークを自動化する、ゼロコードの設定駆動ワークフローを提供する。
• 生成品質、待機時間、コストの多目的評価とプロンプトエンジニアリングをサポートする。
• さまざまな予算と精度要件に対してパレート最適なデプロイメント構成を特定するプラン推奨機能を提供する。

提案手法

• 設定ファイルを介してゼロコーディング実験を可能にする設定駆動型ベンチマークワークフロー。
• プロンプトを準備し、外部知識を埋め込みにチャンク化してベクタデータベースに格納するデータローダー。
• LLM推論バックエンド上でプロンプトを実行するクエリエグゼキューションインターフェース（デフォルトはOllama）; カスタムモデルをサポート。
• 応答品質とシステムリソースの指標監視とログ記録。カスタマイズ可能な指標を有効化。
• コストと有効性のバランスを取るためのパレートフロントを計算・表示するプラン推奨機能。

Figure 1: Workflow of benchmarking LLM pipelines using CEBench.

実験結果

リサーチクエスチョン

• RQ1 コスト制約の下で、許容される有効性を維持しつつLLMデプロイメントの選択を最適化するにはどうすればよいか。
• RQ2 ローカルデプロイメントのLLMパイプライン（RAG付き）とオンラインLLMサービスの間で、精度・レイテンシ・コストの観点でどのようなトレードオフがあるか？
• RQ3 ゼロコードベンチマークが、モデル・データ設定・ハードウェア全体の評価をどのように加速できるか？
• RQ4 予算と性能要件の下で、プラン推奨がパレート最適な構成をどれほど効果的に特定できるか？

主な発見

ID	モデル	MAE / F1（該当する場合）	推定時間（秒）	インスタンス	Top_K	量子化	チャンクサイズ	推定コスト（$/kPrompt）
1	llama3:8b	6.45 MAE	10.65	G6	2	sq	1000	3.47
2	llama3:8b	7.89 MAE	10.44	G6	5	pq	1000	3.39
3	llama3:8b	5.48 MAE	10.89	G6	5	no	1000	3.54
4	llama3:8b	2.33 MAE	11.68	G6	10	sq	2000	3.80
5	llama3:8b	3.67 MAE	11.61	G6	10	no	2000	3.79
6	mixtral:8x7b	1.67 MAE	7.06	A100	5	no	2000	9.37

• CEBenchはコスト対効果のためのパレートフロント主導の構成推奨を可能にする。
• 大半のベンチマーク済みインスタンスは1,000プロンプトあたり$15未満のコストで、設定間で手頃な評価オプションを示しています。
• RAGは一般に有効性を改善し、設定とモデル次第では一部のパイプラインでレイテンシを低減できる。
• このフレームワークは、コスト意識したモデリングとともに、効果性、RAGエンドツーエンド、プロンプトエンジニアリング、マルチオブジェクティブ評価など、さまざまなシナリオをサポートします。
• オンラインLLMサービスは特定のタスクで有利なコスト対効果を示すことがあり、RAGとプロンプト戦略が用いられる場合にはローカルデプロイメントを上回ることもある。
• パレートフロントの結果は、予算と性能目標を満たすようにモデル・量子化・チャンクサイズ・ハードウェアを選択するための実用的な指針を提供します。

Figure 2: The architecture of CEBench. The benchmarking server and the host can be deployed on the same physical server.