[論文レビュー] Teola: Towards End-to-End Optimization of LLM-based Applications

Xin Tan, Yimin Jiang+2 more|arXiv (Cornell University)|Jun 29, 2024

Distributed and Parallel Computing Systems被引用数 4

ひとこと要約

Teola は、LLM ベースのアプリケーション向けに、細粒度でプリミティブレベルのデータフロー・グラフオchestration フレームワークを提案する。これにより、LLM および非 LLM コンponent の両方をカバーするエンドツーエンド最適化が可能になる。低レベルのタスクプリミティブとその依存関係を公開することで、トポロジーに配慮したバッチ処理およびモジュール間並列処理とパイプライン処理により、最大 2.09 倍の高速化を達成し、既存のモジュールベースのフレームワークを上回る性能を発揮する。

ABSTRACT

Large language model (LLM)-based applications consist of both LLM and non-LLM components, each contributing to the end-to-end latency. Despite great efforts to optimize LLM inference, end-to-end workflow optimization has been overlooked. Existing frameworks employ coarse-grained orchestration with task modules, which confines optimizations to within each module and yields suboptimal scheduling decisions. We propose fine-grained end-to-end orchestration, which utilizes task primitives as the basic units and represents each query's workflow as a primitive-level dataflow graph. This explicitly exposes a much larger design space, enables optimizations in parallelization and pipelining across primitives of different modules, and enhances scheduling to improve application-level performance. We build Teola, a novel orchestration framework for LLM-based applications that implements this scheme. Comprehensive experiments show that Teola can achieve up to 2.09x speedup over existing systems across various popular LLM applications. The code is available at https://github.com/NetX-lab/Ayo.

研究の動機と目的

• 粗粒度でモジュールレベルのオーケストレーションによって引き起こされる LLM ベースのアプリケーションにおけるエンドツーエンド性能の最適でない状態を是正すること。
• 高レベルのモジュールではなく、プリミティブ操作レベルでワークフローをモデル化することで、より大きな最適化空間を露呈すること。
• LLM および非 LLM コンponent 間で並列処理、パイプライン処理、スケジューリングを統合的に最適化すること。
• フ론トエンドのオーケストレーションをバックエンド実行から分離することでアプリケーションレベルの遅延を低減し、アプリケーションに適合したスケジューリングを可能にすること。
• 孤立した LLM 推論の改善を超えた包括的でエンドツーエンドのパフォーマンス最適化を実現するシステムを構築すること。

提案手法

• 各 LLM ベースのアプリケーションワークフローを、各プリミティブがメタデータを備えたシンボリック演算であるプリミティブレベルのデータフロー・グラフとして表現する。
• ユーザーのクエリをアプリケーション固有のプリミティブ・グラフに解析し、効率的な実行を目的としたターゲット最適化パスを適用する、グラフ最適化ツールを使用する。
• 二段階のランタイムスケジューラを実装する：上位スケジューラはクエリレベルの実行グラフを管理し、下位スケジューラは各エンジンごとに関連するプリミティブのバッチ処理と処理を担当する。
• プリミティブ・グラフにおけるトポロジー的深さとリクエストの相関関係を活用して、トポロジーに配慮したバッチ処理を可能にし、リソース利用効率を向上させる。
• Ray を介して既存の実行エンジン（例：vLLM）と統合し、分散スケジューリングと実行を実現する。フレームワークとして LlamaIndex や LangChain とも互換性を保つ。
• エンジン固有の属性とプリミティブ間の関係を公開することで、スケジューリング意思決定を支援し、モジュール間最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 プリミティブレベルでの細粒度のオーケストレーションは、LLM ベースのアプリケーションにおけるエンドツーエンド遅延を顕著に短縮できるか？
• RQ2 モジュールレベルのチェインと比較して、プリミティブレベルのデータフロー・モデリングは、スケジューリングとバッチ処理をどのように改善するか？
• RQ3 異種の LLM ワークフローにおいて、モジュール間並列処理とパイプライン処理をどれだけ活用してパフォーマンス向上を達成できるか？
• RQ4 プリミティブの依存関係とトポロジー的深さに基づくアプリケーションに適合したスケジューリングは、システムスループットと遅延をどのように改善できるか？
• RQ5 Teola のエンドツーエンド最適化は、実世界の LLM アプリケーションワークロードにおいて、既存のフレームワークと比較してどの程度優れているか？

主な発見

• Teola は、検索を活用した生成やドキュメント質問応答を含む多様な LLM アプリケーションにおいて、既存のシステムを最大 2.09 倍高速化する。
• 一部の RAG ベースのワークフローでは、非 LLM コンponent がエンドツーエンド遅延の 50% 以上を占めていることが判明し、包括的最適化の必要性が浮き彫りになった。
• プリミティブレベルのデータフロー・グラフは、モジュールベースのチェインと比較してはるかに大きな最適化空間を露呈し、モジュール間並列処理とパイプライン処理を可能にする。
• プリミティブ・グラフ構造に基づくトポロジーに配慮したバッチ処理は、ランタイムスケジューラにおけるリクエスト統合とリソース利用効率を向上させる。
• フレームワークの二段階スケジューリングアーキテクチャは、オーケストレーション論理とエンジン実行を効果的に分離し、効率的でアプリケーションに適合したリクエストスケジューリングを可能にする。
• Teola の設計は、vLLM や KV キャッシュ再利用などの既存の LLM 推論最適化と互換性があり、相乗効果によるパフォーマンス向上を実現できる。