[論文レビュー] From Transformers to LLMs: A Systematic Survey of Efficiency Considerations in NLP

Wazib Ansar, Saptarsi Goswami+1 more|arXiv (Cornell University)|May 15, 2024

Natural Language Processing Techniques被引用数 7

ひとこと要約

データ、モデル設計、事前学習、ファインチューニング、プロンプティング、ハードウェアの側面にわたる効率性に焦点を当てたトランスフォーマーベースのNLPの系統的文献調査であり、パレート最適なNLPモデルへのロードマップを提示する。

ABSTRACT

The emergence of Transformer-based Large Language Models (LLMs) has substantially augmented the capabilities of Natural Language Processing (NLP), thereby intensifying the demand for computational resources. Therefore, enhancing efficiency based on factors like computational requirements, energy consumption, carbon footprint and financial cost has become a vital area of research. This motivates us to conduct a systematic literature review on Transformer-based LLMs in NLP from the perspective of efficiency. In this survey of 312 articles published between the years 2011 and 2025, efficiency-improvement endeavors have been systematically discussed targeting various aspects such as data curation, model design, model downsizing, and dynamic inferencing. This has been augmented with efficiency considerations in model adaptation strategies like pre-training, fine-tuning, prompt-engineering and Retrieval-Augmented Generation (RAG). Furthermore, a statistical analysis of the articles has been performed followed by an in-depth evaluation of the efficiency and efficacy of more than 30 renowned NLP models has been conducted on 13 evaluation benchmarks. This paper offers valuable insights for researchers, professionals as well as scholars, and explores the trend of research toward sustainable practices in NLP.

研究の動機と目的

• 効率と精度のトレードオフを重視しつつ、NLPとトランスフォーマーベースのモデルの進化を調査する。
• データキュレーション、モデル設計、事前学習、ファインチューニング、推論を横断して効率性の要因を整理する。
• 効率的なNLPを実現するソフトウェアとハードウェアのアプローチについて、質的・量的評価を提供する。
• パレート最適（効率的で高精度な）NLPモデルへ向けた傾向、ギャップ、今後の方向性を特定する。

提案手法

• NLPにおける効率性に焦点を当てた研究を質的・量的分析と組み合わせた系統的文献レビューを採用する。
• 歴史的および現在のトランスフォーマーベースのモデルとLLMを検討し、効率性の考慮点を明確にする。
• 開発段階（データ、モデリング、事前学習、ファインチューニング、プロンプティング、推論）およびハードウェア/ソフトウェア共設計ごとに効率性の改善を分類する。
• 研究選択と統合にPRISMAに触発された手法を用いる。
• トレンドや指標（例：FLOPs、モデルサイズ、エネルギー使用量、炭素排出量）と性能との関係を収集・分析する。

実験結果

リサーチクエスチョン

• RQ1 NLPのアプリケーションは何で、それらを実行するための技術は何か？
• RQ2 トランスフォーマーベースのモデルとは何か、NLPのLLMでトランスフォーマーはどのように使われているか？
• RQ3 トランスフォーマーベースのLLMにおける効率性と有効性のトレードオフは何か？
• RQ4 NLPモデルに用いられる効率性の指標は何か？
• RQ5 トランスフォーマーベースのNLPモデルに存在する効率性の考慮点は何か？
• RQ6 モデル開発のどの段階を効率向上の対象とできるか？
• RQ7 NLPの現在の研究動向は何で、効率性の考慮はどのように進化するか？

主な発見

• 本調査は、データキュレーションからハードウェア展開までの段階別の効率性取り組みを網羅的に分析している。
• トランスフォーマーの効率性に対するソフトウェアとハードウェアの貢献について、定性的および定量的洞察を提供する。
• 傾向を総合し、性能とリソース制約のバランスを取るパレート最適なNLPシステムへのロードマップを提案する。
• エネルギー使用量や炭素排出量を含む環境・持続可能性の観点で効率性を位置づける。
• 幅広い先行調査を参照し、本研究を、全てのモデリング段階とハードウェア考慮を横断した効率性に焦点を当てる最初の系統的レビューとして位置づける。