[論文レビュー] Beyond Efficiency: A Systematic Survey of Resource-Efficient Large Language Models

Guangji Bai, Zheng Chai+12 more|arXiv (Cornell University)|Jan 1, 2024

Topic Modeling被引用数 38

ひとこと要約

この論文は、アーキテクチャ、事前学習、微調整、推論、システム設計を通じてLLMのリソース効率を改善する技術を概説し、分類法と標準化された評価ベンチマークを提案します。

ABSTRACT

The burgeoning field of Large Language Models (LLMs), exemplified by sophisticated models like OpenAI's ChatGPT, represents a significant advancement in artificial intelligence. These models, however, bring forth substantial challenges in the high consumption of computational, memory, energy, and financial resources, especially in environments with limited resource capabilities. This survey aims to systematically address these challenges by reviewing a broad spectrum of techniques designed to enhance the resource efficiency of LLMs. We categorize methods based on their optimization focus: computational, memory, energy, financial, and network resources and their applicability across various stages of an LLM's lifecycle, including architecture design, pretraining, finetuning, and system design. Additionally, the survey introduces a nuanced categorization of resource efficiency techniques by their specific resource types, which uncovers the intricate relationships and mappings between various resources and corresponding optimization techniques. A standardized set of evaluation metrics and datasets is also presented to facilitate consistent and fair comparisons across different models and techniques. By offering a comprehensive overview of the current sota and identifying open research avenues, this survey serves as a foundational reference for researchers and practitioners, aiding them in developing more sustainable and efficient LLMs in a rapidly evolving landscape.

研究の動機と目的

• LLMリソース効率に関連するリソース（計算、メモリ、エネルギー、費用、通信）を体系的に分類する分類法を定義する。
• LLMライフサイクル全体にわたる技術の網羅的調査を提供する。
• リソース効率の方法を公正に比較するための指標とデータセットを標準化する。
• 研究と実践を導くためのギャップ、課題、将来の方向性を特定する。

提案手法

• リソース種別とライフサイクル段階（アーキテクチャ設計、事前学習、微調整、推論、システム設計）によるリソース効率技術の分類。
• 効率的な Transformer アーキテクチャ、近似アテンション、剪定、量子化、蒸留、システムレベルの最適化を含む広範な技術をレビュー・比較する。
• リソース効率評価のための指標とデータセットを備えた標準化評価フレームワークを提案する。
• 既存文献に基づくオープンな課題と将来の研究方向性を統合する。

実験結果

リサーチクエスチョン

• RQ1 LLMの効率性を最も重視すべきリソースタイプは何か、そしてそれに対応する技術をどのように組織すべきか。
• RQ2 アーキテクチャ、トレーニング、システム戦略のうち、LLMライフサイクル全体で最もリソース効率を高めるのはどの戦略か。
• RQ3 評価指標とベンチマークを標準化して、リソース効率のLLMを公正に比較できるようにするにはどうすべきか。
• RQ4 持続可能でアクセスしやすいリソース効率LLMsの開発における主要なギャップとオープンな課題は何か。
• RQ5 コミュニティが研究を実用的なデプロイと倫理的考慮により良く合わせるにはどうすべきか。

主な発見

• この調査は、技術をリソースタイプとライフサイクル段階に対応づける体系的な分類法を提供する。
• 効率的なアテンション機構、ハードウェア対応アテンション、非トランスフォーマーベースのアーキテクチャ、事前学習のメモリ・データ効率、パラメータ効率の微調整、システムレベルのデプロイ戦略など、広範な手法をカバーしている。
• モデルや手法間の一貫した比較を可能にする標準化された指標とデータセットを提案している。
• 論文はボトルネックと将来の研究を指摘し、より持続可能でアクセス可能なLLMsに向けた方向性を導く。