[論文レビュー] Position: Key Claims in LLM Research Have a Long Tail of Footnotes

Anna Rogers, Alexandra Sasha Luccioni|arXiv (Cornell University)|Aug 14, 2023

Natural Language Processing Techniques被引用数 6

ひとこと要約

本論文は、テキスト生成能力、大規模事前学習（≥10億トークン）、転移学習への適応可能性の3つの基準に基づき、大規模言語モデル（LLMs）を明確に定義する。本論文は、耐性、最先端性能、スケール依存性、そして顕在的能力に関する一般的な主張を、実証的証拠と社会技術的分析を用いて批判的に検証し、現在の議論において広く根拠が乏しいことが判明し、今後のNLP研究における方法論的厳密性の必要性を訴えている。

ABSTRACT

Much of the recent discourse within the ML community has been centered around Large Language Models (LLMs), their functionality and potential -- yet not only do we not have a working definition of LLMs, but much of this discourse relies on claims and assumptions that are worth re-examining. We contribute a definition of LLMs, critically examine five common claims regarding their properties (including 'emergent properties'), and conclude with suggestions for future research directions and their framing.

研究の動機と目的

• 自然言語処理（NLP）分野における研究および実践において、大規模言語モデル（LLMs）の明確で実用的な定義が欠如している問題に対処すること。
• 耐性、性能優位性、スケール依存性、顕在的能力といった、LLMの機能に関する広く共有されている仮定を批判的に検証すること。
• LLMに関する主張を裏付ける実証的証拠のギャップを特定し、現在の議論における一貫性の欠如を浮き彫りにすること。
• 主張を証拠と理論に基づいて根拠づけることで、今後のNLP研究における方法論的厳密性と多様性を促進すること。
• 定義の明確化と実証的検証を重視する、LLMの評価フレームワークを提言すること。

提案手法

• LLMの3段階定義を提唱する：（1）文脈に応じたテキスト生成、（2）≥10億トークンの事前学習、（3）転移学習による適応可能性。
• 既存の実証的研究および社会技術的批判を活用し、ベンチマーク、モデル挙動、導入環境の観点からLLMに関する主張を評価する。
• 提案された基準に基づき、BERT、GPT、word2vecなどの異なるアーキテクチャのモデル挙動を分析し、LLMとそれ以前のモデルの違いを明確にする。
• SuperGLUE、Few-shot学習、Chain-of-Thoughtプロンプティング、多言語転送タスクの結果をレビューすることで、スケール、耐性、顕在的能力に関する主張を評価する。
• '基盤モデル'といった関連概念とLLMを比較し、正式な定義のない用語の限界を議論する。
• 提案されたフレームワークを多モodalモデル（例：GPT-4）および蒸留モデル（例：tinyBERT）に適用し、それらが基準を満たすかどうかを検証する。

実験結果

リサーチクエスチョン

• RQ1 LLMと分類されるための必要十分な基準は何であるか？
• RQ2 LLMの耐性、性能、スケール依存性、顕在的能力に関する主張は、どの程度実証的証拠によって裏付けられているか？
• RQ3 BERT や GPT-3 は、提案されたLLM定義に基づき、word2vec やその他の以前のモデルとどのように比較されるか？
• RQ4 「基盤モデル」のような曖昧な用語が、NLP研究における科学的厳密性に与える影響は何か？
• RQ5 今後のNLP研究は、どのような枠組みで方法論的厳密性を確保し、未検証の仮定への依存を減らすことができるか？

主な発見

• BERT や GPT-3 は、文脈に応じた生成、大規模事前学習（10億トークン以上）、転移学習への適応可能性を満たすため、提案された定義に基づきLLMに該当する。
• word2vec や GloVe などのモデルは、推論時における文脈に応じた生成が欠如しているため、LLMとはみなされないが、大規模事前学習は行われている。
• LLMが本質的に耐性があるという主張は、分布外入力や敵対的入力に対して頻繁に失敗するため、一貫した証拠によって裏付けられていない。
• LLMが体系的に最先端性能を達成するとされる主張は誇張されており、タスクや評価ベンチマークによって性能は顕著に異なる。
• Few-shotおよびゼロ-shot設定では、スケールに起因する性能向上の証拠は強くあるが、その関係は単調ではなく、タスクの複雑さやデータ品質に依存する。
• チェーン・オブ・ススムの推論といった顕在的能力は、特定のモデルサイズを超えるとのみ顕在するため、非線形的挙動を示すが、その現象は未だ十分に理解されておらず、一貫した再現性も欠けている。