[論文レビュー] What is the Role of Small Models in the LLM Era: A Survey

Lihu Chen, Gaël Varoquaux|arXiv (Cornell University)|Sep 10, 2024

Digital Rights Management and Security被引用数 6

ひとこと要約

本調査は、小さなモデル（SMs）が large language models（LLMs）と協働および補完する方法を、協働と補完性の観点から分析し、データキュレーション、拡張推論、効率的なデプロイメントに焦点を当てます。

ABSTRACT

Large Language Models (LLMs) have made significant progress in advancing artificial general intelligence (AGI), leading to the development of increasingly large models such as GPT-4 and LLaMA-405B. However, scaling up model sizes results in exponentially higher computational costs and energy consumption, making these models impractical for academic researchers and businesses with limited resources. At the same time, Small Models (SMs) are frequently used in practical settings, although their significance is currently underestimated. This raises important questions about the role of small models in the era of LLMs, a topic that has received limited attention in prior research. In this work, we systematically examine the relationship between LLMs and SMs from two key perspectives: Collaboration and Competition. We hope this survey provides valuable insights for practitioners, fostering a deeper understanding of the contribution of small models and promoting more efficient use of computational resources. The code is available at https://github.com/tigerchen52/role_of_small_models

研究の動機と目的

• 大規模言語モデルの時代における小さなモデルの生態的ニッチの理解を動機づける。
• SMs と LLMs を、精度・一般性・効率・解釈性の観点で比較する。
• データキュレーション、評価、拡張推論を通じて、SMs が LLMs を支援できる方法を整理する。
• 資源制約のある環境で、現実的な協働パターンと将来の研究方向を提案する。

提案手法

• SMs を LLMs に対して相対的に定義し、Transformer ベースのアーキテクチャに焦点を当てる。
• SMs が LLMs を強化する協働メカニズム（データキュレーション、評価、効率、拡張推論）を体系的にレビューする。
• LLMs が SMs をサポートする方法（より豊富な監督、プロンプト、ドメイン適応）を体系的にレビューする。
• データキュレーション、拡張、プロンプト設計、欠陥修復の観点でアプローチを分類する。
• データ選択、再重み付け、弱教師信号から強教師信号への監督を中核パラダイムとして議論する。
• データ品質、合成データ、理論的理解の将来の方向性と未解決の問いを概説する。

実験結果

リサーチクエスチョン

• RQ1 SMs は LLM ベースのシステムのデータキュレーション、訓練、推論、評価においてどのような役割を果たすか？
• RQ2 SMs は LLMs と協働して、効率性・頑健性・適合性をどのように向上させることができるか？
• RQ3 SMs が LLM 時代に依然として有利である実用的・生態的ニッチは何か？
• RQ4 データ選択、再重み付け、弱→強の監督を SMs を用いて実現する効果的な戦略は何か？
• RQ5 SMs の価値を LLMs とともに最大化する将来の研究方向は何か？

主な発見

• 小さなモデルは依然として人気があり有用で、コストと効率の利点を提供しつつ、ターゲット設定で競争力のある性能を示す。
• SMs はデータキュレーション、弱→強の監督、および検証を通じて LLMs のパイプライン全体を強化し、品質と頑健性を向上させる。
• RAG、ドメイン適応、プロンプト設計、欠陥修復は、SMs が拡張推論において LLMs を支援する主要な経路である。
• SMs を用いたデータキュレーション戦略（選択と再重み付け）は、データ量を抑えつつ、タスクやドメイン固有の高品質なトレーニングデータを実現する。
• 弱→強の一般化は、弱い監督者でも強力なモデルを導けることを示しており、大規模な人手ラベリングデータセットへの依存を削減する。
• 本論文は「少ないほど良い」という観点を強調し、高品質なデータをキュレーションし、SMs を活用してコストを削減しつつ性能を維持する。