[論文レビュー] Small Language Models (SLMs) Can Still Pack a Punch: A survey

Shreyas Subramanian, Vikram Elango+1 more|arXiv (Cornell University)|Jan 3, 2025

Topic Modeling被引用数 3

ひとこと要約

約160件の調査から、1–8Bパラメータの小規模言語モデルが、タスクに依存しない設定、タスク専用設定、ドメイン専用設定を問わず、さまざまなタスクで大規模モデルと同等かそれを上回ることが示されている。

ABSTRACT

As foundation AI models continue to increase in size, an important question arises - is massive scale the only path forward? This survey of about 160 papers presents a family of Small Language Models (SLMs) in the 1 to 8 billion parameter range that demonstrate smaller models can perform as well, or even outperform large models. We explore task agnostic, general purpose SLMs, task-specific SLMs and techniques to create SLMs that can guide the community to build models while balancing performance, efficiency, scalability and cost. Furthermore we define and characterize SLMs' effective sizes, representing increased capability with respect to LLMs.

研究の動機と目的

• 小規模言語モデル（SLMs）の景観と、それらの大規模モデルに対する性能を特徴づける。
• SLMsをタイプ別に分類（タスク非依存、タスク依存、ドメイン依存）し、実現技術を特定する。
• SLMの効率と能力を高める訓練方法とアーキテクチャ上の革新を要約する。
• リソース制約環境とコスト効率の高い展開に対する実践的影響を強調する。

提案手法

• SLMが1–8Bパラメータ範囲である約160件の論文を調査。
• SLMsをタスク非依存、タスク依存、ドメイン依存のグループに分類。
• 競争力ある性能を可能にする設計選択、訓練技術、アーキテクチャの分析。
• SLMsと従来のLLMsを比較し、能力に対する効果的なサイズの議論。
• SLMsに関連するデータ品質、訓練信号、評価ベンチマークの討議。

実験結果

リサーチクエスチョン

• RQ1 SLMsの prevailing types and architectures は何か、それらはより大きなLLMとどう比較されるか。
• RQ2 SLMsを競争力ある性能にする訓練技術とデータ慣行は何か。
• RQ3 タスク非依存、タスク依存、ドメイン依存のSLMsは、より大きなモデルに対してどのドメインで優位、または遅れるか。
• RQ4 SLMsの有効サイズと能力を研究者はどう定義・測定すべきか。

主な発見

• 1–8Bパラメータ範囲のSLMsは、特定のタスクで大規模モデルと同等かそれを上回る性能を示す。
• Llamaファミリ、Mistral、Phi、Orca、Gemini Nano、Qwen など、幅広いSLMが推論・コード・数学・マルチモーダルタスクで強力な結果を示す。
• 高品質データセット、量子化戦略、専門的な訓練信号など、アーキテクチャとデータ品質の選択がSLMの性能に極めて重要である。
• ハイブリッドアーキテクチャと効率的な訓練技術（GQA、SWA、MoE派生、選択的SSMなど）は、能力を大きく損なうことなく効率性を提供する。
• タスク特異的SLM（コード生成、数学、翻訳など）は、特化したベンチマークで大規模モデルを上回ることがある。