[論文レビュー] Generative Models as a Complex Systems Science: How can we make sense of large language model behavior?

Ari Holtzman, Peter West+1 more|arXiv (Cornell University)|Jul 31, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文は、大規模言語モデル（LLMs）を複雑系として再定式化し、機械的解釈可能性と今後の研究を導くために上位互換の行動分類法を提唱する。タスクをまたいで出現する行動を分類することで、アーキテクチャに依存しないLMMの体系的分析が可能となり、モデルの不透明性や急速なアーキテクチャの進化にもかかわらず、再現可能で理論に基づいた研究の基盤が得られる。

ABSTRACT

Coaxing out desired behavior from pretrained models, while avoiding undesirable ones, has redefined NLP and is reshaping how we interact with computers. What was once a scientific engineering discipline-in which building blocks are stacked one on top of the other-is arguably already a complex systems science, in which emergent behaviors are sought out to support previously unimagined use cases. Despite the ever increasing number of benchmarks that measure task performance, we lack explanations of what behaviors language models exhibit that allow them to complete these tasks in the first place. We argue for a systematic effort to decompose language model behavior into categories that explain cross-task performance, to guide mechanistic explanations and help future-proof analytic research.

研究の動機と目的

• 大規模言語モデル（LLMs）における出現的行動の体系的理解の欠如に取り組み、これにより解釈可能性と理論構築が制限されている現状を是正する。
• ベンチマーク中心の評価の限界を乗り越え、性能指標から高水準のモデル行動の特定と分類へと焦点を移す。
• 下位互換の機械的分析を導くために、上位互換の行動分類法を構築し、意味のある現象に焦点を当て、恣意的なモデル部品に偏らない研究を実現する。
• LLM出力の規則性を予測するメタモデルフレームワークを確立し、より強固で一般化可能なモデル行動の説明を可能にする。
• 生成モデルの科学的・長期的学術的調査を可能にするために、オープンソースモデルの提供を促進する。特に、特許権モデルが支配的である状況においては不可欠である。

提案手法

• 『ニューフォーマー』と呼ばれる架空の非トランスフォーマー型で最先端の生成モデルを想定する思考実験を導入し、現在のモデル解釈アプローチの限界を浮き彫りにする。
• 機械的調査を導く機能的フレームワークとして、階層的で上位互換のLLM行動分類（例：要約、繰り返し、文脈内学習）を提唱する。
• 既存の解釈可能性研究（例：誘導ヘッド、コピーヘッド）を根拠として、行動ベースの分類がより深い機械的洞察をもたらすことを示す。
• 生成モデルを、設計されていないがゆえに出現する行動を示す複雑系として位置づけ、生物学的・化学的複雑系と類似する点を強調する。
• LLMにおけるシミュレーションと再現可能性が、物理的複雑系に比べて優位であると主張する。これは、制御された、観測者に依存しない実験が可能であるためである。
• オープンソースモデルの必要性を強調する。特に特許権モデルが能力を支配している状況において、長期的かつ再現可能な研究を維持するには不可欠である。

Figure 1: To explain why learned models self-organize the way they do from the bottom-up, it is useful to have top-down hierarchy of partially decomposed behaviors, to guide hypotheses with functionality we know the overall model has. While networks are composed of bedrock units for which we have a

実験結果

リサーチクエスチョン

• RQ1 どのようにして大規模言語モデルの出現的行動を体系的に分類し、機械的解釈を導くことができるか？
• RQ2 上位互換の行動分類は、下位互換の機械的分析の効率性と関連性をどのように向上させるか？
• RQ3 なぜベンチマークは、タスクをまたいでLLMの性能を規定する行動を捉えたり説明したりできないのか？
• RQ4 アーキテクチャの詳細に依存せずに、LLM出力の規則性を予測するメタモデルをどのように構築できるか？
• RQ5 生成モデルはどのような点で複雑系に類似しているのか。この視点は、NLP研究の目的をどのように変えるか？

主な発見

• LLMにおける出現的行動（例：文脈内学習、フレーズの繰り返し）は設計されたものではなく、学習の過程で発見されるものであり、複雑系のダイナミクスを示している。
• 共通の行動語彙の欠如が進展を妨えている。これは、モデルがオープンソースであっても、異方的埋め込み空間のような行動を説明するのが困難であることに起因する。
• 既存の解釈可能性研究（例：誘導ヘッド）は、行動ベースの分類が実用的な機械的洞察をもたらすことを示しており、提示された分類法の有効性を裏付けている。
• アーキテクチャの違いがあっても、共通の高水準の行動（例：要約、コピーリング）を用いることで、架空のニューフォーマーとトランスフォーマーのモデルを比較可能とし、モデル間分析が可能になる。
• オープンソースモデルは、性能を規定する行動へのアクセスを制限する特許権モデルとは対照的に、再現可能で長期的な科学的調査を可能にする。
• 生成モデルは、そのシミュラビリティ、再現可能性、および制御された実験における観測者効果の欠如から、多くの自然複雑系よりも科学的調査に適している。

Figure 2: A visual representation of different aspects of models, shown from the basic elements of models on the bottom up to the benchmarks we are attempting to solve. Nodes represent invented and discovered aspects of models. The highlighted subgraph captures the concepts that we might want to use