[論文レビュー] Revealing the structure of language model capabilities

Ryan Burnell, Han Hao+2 more|arXiv (Cornell University)|Jun 14, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文は、27のタスクにおける29体の大規模言語モデル（LLM）の因子分析を通じて、大規模言語モデル（LLM）の能力が、推論、理解、コアな言語モデリングという3つの明確に分離された潜在的要因に従って構造化されていることを明らかにした。研究結果は、これらの要因が性能の大部分の分散を説明しており、モデルのサイズや指示微調整といったモデル特性との差別的な関係を示しており、能力開発におけるトレードオフを示唆している。

ABSTRACT

Building a theoretical understanding of the capabilities of large language models (LLMs) is vital for our ability to predict and explain the behavior of these systems. Here, we investigate the structure of LLM capabilities by extracting latent capabilities from patterns of individual differences across a varied population of LLMs. Using a combination of Bayesian and frequentist factor analysis, we analyzed data from 29 different LLMs across 27 cognitive tasks. We found evidence that LLM capabilities are not monolithic. Instead, they are better explained by three well-delineated factors that represent reasoning, comprehension and core language modeling. Moreover, we found that these three factors can explain a high proportion of the variance in model performance. These results reveal a consistent structure in the capabilities of different LLMs and demonstrate the multifaceted nature of these capabilities. We also found that the three abilities show different relationships to model properties such as model size and instruction tuning. These patterns help refine our understanding of scaling laws and indicate that changes to a model that improve one ability might simultaneously impair others. Based on these findings, we suggest that benchmarks could be streamlined by focusing on tasks that tap into each broad model ability.

研究の動機と目的

• 大規模言語モデル（LLM）能力の背後にある構造を、単一の性能指標にとどまらず理論的に理解すること。
• 実証的データを用いて、LLM能力が少数の潜在的で解釈可能な認知的要因に分解可能かどうかを調査すること。
• モデルの特性（サイズや指示微調整など）が、これらの異なる能力にどのように差別的に影響を与えるかを検討すること。
• コアな能力を特定することで、より効率的で理論的根拠を持つ評価ベンチマークの設計を支援すること。
• 今後のLLM能力に関する研究を支援するため、ベンチマーク評価データの公開を促進すること。

提案手法

• ベイジアンおよび頻度主義的因子分析を、HELMベンチマークに含まれる29体のLLMの27の認知的タスクにおけるパフォーマンスデータに適用した。
• タスクはHELMデータセットから選択され、推論、理解、言語モデリングを含む多様な認知的要請をカバーしていた。
• タスクのアノテーションを根拠に解釈可能性を確保しつつ、タスク間でのモデルパフォーマンスの分散を説明する潜在的要因を抽出した。
• モデルのサイズや指示微調整といった特性を、抽出された要因に対して回帰分析することで、その差別的影響を評価した。
• 人間の認知科学で用いられる心理測定法にインspiredされた、データドリブンでボトムアップなアプローチを採用した。
• モデルの適合度指標および解釈可能性のチェックを通じて結果を検証し、タスクのクラスタリングや要因負荷の観点にも注意を払った。

実験結果

リサーチクエスチョン

• RQ1 多様な認知的タスクにわたる大規模言語モデルのパフォーマンスを規定する潜在的要因は何か？
• RQ2 モデルの特性（サイズや指示微調整など）が、推論、理解、言語モデリング能力にどのように差別的に影響を与えるか？
• RQ3 これらの3つの要因が、タスク間でのLLMパフォーマンスの分散をどの程度説明できるか？
• RQ4 モデルのサイズを増加させたり、指示微調整を施したりする際、能力にトレードオフが生じるか？
• RQ5 コアな能力に焦点を当てたタスクに絞ることで、ベンチマーク設計を簡素化できるか？

主な発見

• 推論、理解、コアな言語モデリングという3つの明確に分離された潜在的要因が、27のタスクにおけるLLMパフォーマンスの分散を最もよく説明している。
• これらの3つの要因は、モデルパフォーマンスの総分散の大部分を説明しており、一貫した背後構造があることを示している。
• モデルのサイズは理解能力と正の相関を示したが、推論や言語モデリングとは比較的強い相関を示しており、理解能力がスケーリングに対してより感受性が強いことを示唆している。
• 指示微調整は言語モデリング能力と負の相関を示したが、推論能力とは正の相関を示しており、能力のトレードオフが生じていることを示している。
• スケーリング則が能力ごとに一様ではないことが示され、ある能力の向上が他の能力の低下を伴う可能性がある。
• 現在のタスク形式を超えて、特定の認知的能力をより明確に分離できるような、新たなベンチマークパラダイムの必要性が支持されている。