[論文レビュー] The Efficiency Spectrum of Large Language Models: An Algorithmic Survey

Tianyu Ding, Tianyi Chen+8 more|arXiv (Cornell University)|Dec 1, 2023

Topic Modeling被引用数 11

ひとこと要約

データ、アーキテクチャ、トレーニング/チューニング、推論にわたるLLMの効率性を改善するアルゴリズム的アプローチの包括的サーベイで、2023年以前の研究と選択された2023年以降の貢献を網羅している。

ABSTRACT

The rapid growth of Large Language Models (LLMs) has been a driving force in transforming various domains, reshaping the artificial general intelligence landscape. However, the increasing computational and memory demands of these models present substantial challenges, hindering both academic research and practical applications. To address these issues, a wide array of methods, including both algorithmic and hardware solutions, have been developed to enhance the efficiency of LLMs. This survey delivers a comprehensive review of algorithmic advancements aimed at improving LLM efficiency. Unlike other surveys that typically focus on specific areas such as training or model compression, this paper examines the multi-faceted dimensions of efficiency essential for the end-to-end algorithmic development of LLMs. Specifically, it covers various topics related to efficiency, including scaling laws, data utilization, architectural innovations, training and tuning strategies, and inference techniques. This paper aims to serve as a valuable resource for researchers and practitioners, laying the groundwork for future innovations in this critical research area. Our repository of relevant references is maintained at url{https://github.com/tding1/Efficient-LLM-Survey}.

研究の動機と目的

• モデルサイズだけでなく、エンドツーエンドの効率性の必要性を定義し、動機づける。
• データ、アーキテクチャ、トレーニング、チューニング、推論全体で効率性を高めるアルゴリズム的進歩を総合する。
• 効率的なLLM開発のためのスケーリング則とデータ品質の考慮事項を強調する。
• 将来の研究と実用展開を支援するための参考文献のキュレーションリポジトリを提供する。

提案手法

• アルゴリズムとソフトウェアの観点を強調したLLM効率性に関する既存文献の調査。
• 議論をデータ効率、アーキテクチャ効率、トレーニングとチューニング効率、推論効率の五つのコア次元に整理し、予算化/スケーリングの洞察を追加する。
• パラメータ、モデルサイズ、FLOPs、待機時間 latency、メモリフットプリント、炭素排出量を含む効率の評価指標を論じる。
• 主要な発見を要約し、将来の研究を導くオープンな課題を特定する。

実験結果

リサーチクエスチョン

• RQ1 性能を犠牲にせずにLLMの効率性を向上させるエンドツーエンドのアルゴリズム戦略にはどのようなものがあるか？
• RQ2 スケーリング則はリソース予算化とモデル/データのトレードオフを効率的なLLM developmentにどう反映させるか？
• RQ3 データ効率、アーキテクチャの選択、トレーニング/チューニング手法、推論技術が実用的な展開にどんな知見を提供するか？
• RQ4 限られたリソース下で最も効率性を高めるデータ品質とサンプリング手法はどれか？
• RQ5 LLM効率に関する増大する研究の集約に役立つ追加のリソース（リポジトリ）は何か？

主な発見

• 本論文は、データ、アーキテクチャ、トレーニング、チューニング、推論を横断するLLM効率性の全体的な視点を提示する。
• スケーリング則とそれらが計算予算の意思決定およびモデル/データのトレードオフをどのように導くかを論じる。
• データ効率を高める道として、データフィルタリング、アクティブラーニング、サンプリング戦略をレビューする。
• 効率性に影響を与えるアーキテクチャとトレーニング/チューニングの革新を調査し、プロンプトエンジニアリングや整合性手法を含む。
• 研究リポジトリの存在を指摘し、プレ2023年の焦点と選択された2023年以降の貢献を強調する。