[論文レビュー] A Survey on Efficient Inference for Large Language Models

Zixuan Zhou, Xuefei Ning+13 more|arXiv (Cornell University)|Apr 22, 2024

Topic Modeling被引用数 21

ひとこと要約

この調査は、LLM推論の効率技術をデータレベル、モデルレベル、システムレベルの最適化に分類し、実験比較と今後の方向性を提供します。

ABSTRACT

Large Language Models (LLMs) have attracted extensive attention due to their remarkable performance across various tasks. However, the substantial computational and memory requirements of LLM inference pose challenges for deployment in resource-constrained scenarios. Efforts within the field have been directed towards developing techniques aimed at enhancing the efficiency of LLM inference. This paper presents a comprehensive survey of the existing literature on efficient LLM inference. We start by analyzing the primary causes of the inefficient LLM inference, i.e., the large model size, the quadratic-complexity attention operation, and the auto-regressive decoding approach. Then, we introduce a comprehensive taxonomy that organizes the current literature into data-level, model-level, and system-level optimization. Moreover, the paper includes comparative experiments on representative methods within critical sub-fields to provide quantitative insights. Last but not least, we provide some knowledge summary and discuss future research directions.

研究の動機と目的

• 不効率なLLM推論の主な原因を説明する（モデルサイズ、二次的なアテンション、自己回帰デコーディング）。
• データレベル、モデルレベル、システムレベルにわたる効率化技術の総合的な分類を提供する。
• 代表的な手法に関する比較実験を要約し、実践的な指針を提供する。
• 効率的なLLM推論の将来の研究方向と知識統合について議論する。

提案手法

• LLM効率に関する文献をデータレベル、モデルレベル、システムレベルの最適化に分析・分類する（Sec. 3）。
• 重要なサブ分野内の代表的手法に関する比較実験を行い、定量的な洞察を得る（Sec. 4–6）。
• 知識統合と将来の研究方向について議論する（Sec. 7–8）。
• 分類学的フレームワークを概説し、ハードウェアアクセラレータの考慮事項を論じる（Sec. 6.3）。

実験結果

リサーチクエスチョン

• RQ1 不効率なLLM推論を引き起こす主なボトルネックは何か？
• RQ2 データレベル、モデルレベル、システムレベルの最適化をどのように整理してLLMsの推論効率を改善できるか？
• RQ3 代表的な効率推論手法の有効性について比較実験は何を示しているか？
• RQ4 効率的なLLM推論に関する将来の方向性と未解決の課題は何か？
• RQ5 ハードウェアとサービングシステムの考慮事項は効率的な推論にどのように影響するか？

主な発見

• LLM推論の効率は、大規模なモデルサイズ、二次的アテンションの複雑性、KV-cacheメモリを考慮した自己回帰デコーディングによって妨げられる。
• 3レベルの分類（データレベル、モデルレベル、システムレベル）は文献を整理し、実践的な最適化を導く。
• 代表的な手法の比較実験は、モデル量子化やサービングシステムなどのサブ分野に跨る定量的洞察を提供する。
• データレベルのアプローチ（入力圧縮、出力整理）は、プレフィリングとデコード段階を対象としてコストとレイテンシを削減する。
• モデルレベルの戦略には、FFNとアテンションの効率を重視した効率的な構造設計とモデル圧縮が含まれる。システムレベルの最適化は推論エンジンとスケジューリングに焦点を当てる。
• 本調査は実用的な推奨事項を提供し、将来の研究方向とハードウェアの考慮事項について論じる。