[論文レビュー] Eight Things to Know about Large Language Models

Samuel R. Bowman|arXiv (Cornell University)|Apr 2, 2023

Natural Language Processing Techniques被引用数 97

ひとこと要約

LLMs に関する、証拠に基づく eight つの驚くべきポイントの総括。スケーリング則、出現的挙動、表現学習、ステアリングの限界、解釈性の課題、性能と人間ベンチマーク、価値観と偏見、そして短い対話の誤解を招く性質を強調する。

ABSTRACT

The widespread public deployment of large language models (LLMs) in recent months has prompted a wave of new attention and engagement from advocates, policymakers, and scholars from many fields. This attention is a timely response to the many urgent questions that this technology raises, but it can sometimes miss important considerations. This paper surveys the evidence for eight potentially surprising such points: 1. LLMs predictably get more capable with increasing investment, even without targeted innovation. 2. Many important LLM behaviors emerge unpredictably as a byproduct of increasing investment. 3. LLMs often appear to learn and use representations of the outside world. 4. There are no reliable techniques for steering the behavior of LLMs. 5. Experts are not yet able to interpret the inner workings of LLMs. 6. Human performance on a task isn't an upper bound on LLM performance. 7. LLMs need not express the values of their creators nor the values encoded in web text. 8. Brief interactions with LLMs are often misleading.

研究の動機と目的

• 研究者、アドボカシー団体、政策立案者の間でLLMsの含意について情報に基づく議論を促す。
• LLMsがどのようにスケールし、どのような挙動が出現し、ステアリングと解釈性の限界がどこにあるかを示す証拠を要約する。
• 展開と監督に関わる倫理・ガバナンス・安全性の考慮事項を強調する。

提案手法

• LLMのスケーリング、出現挙動、表現能力に関する先行研究を調査・総括する。
• スケーリング則、BIG-Bench、および関連研究からの経験的結果を引用して主張を裏付ける。
• 現在のステアリング、解釈、評価手法の限界を論じる。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルについて、証拠で裏付けられた驚くべき主張は何か？
• RQ2 スケーリングと投資はLLMの能力と挙動にどう影響するか？
• RQ3 LLMsにおけるステアリング、解釈性、価値整合の限界はどこにあるか？
• RQ4 現在のLLM開発と展開から生じるリスクとガバナンスの考慮事項は何か？

主な発見

• LLMs は投資とスケールによって、特定の革新を狙わなくても、より高度な能力を獲得する。
• モデルがスケールするにつれて、重要な挙動が予測不能に出現することがある。
• LLMs は外界の内部表現を一定程度まで獲得する。
• すべての設定でLLMの挙動をステアリングすることを保証する信頼できる技術は存在しない。
• 専門家はLLM内部の解釈能力を完全には持たない。
• 人間のパフォーマンスは、LLMのタスクに対する普遍的な上限ではない。
• LLMs は必ずしも作成者の価値観や訓練データの価値観を表現する必要はない。
• LLMs への短い対話は、能力について誤解を招くことがある。