[論文レビュー] From Frege to chatGPT: Compositionality in language, cognition, and deep neural networks

Jacob Russin, Sam Whitman McGrath+1 more|arXiv (Cornell University)|May 24, 2024

Biomedical Text Mining and Ontologies被引用数 4

ひとこと要約

この論文は、特に大規模言語モデル（LLMs）を含む現代の深層ニューラルネットワーク（DNNs）が、明示的な記号的アーキテクチャを持たないにもかかわらず、既知の要素を組み合わせて新しい意味のある構造を生成する「構成的汎化」をどのように達成するかを調査している。本論文は、アーキテクチャに内在する誘導的バイアス（inductive biases）とメタラーニング（特にLLMの事前学習）が、DNNsが構成的性の核心的な行動的特徴を再現できることを主張し、かつて長らく信じられてきた「構成的で生産的な認知を支えるのは、古典的な記号的システムに限る」という見解に挑戦する。

ABSTRACT

Compositionality has long been considered a key explanatory property underlying human intelligence: arbitrary concepts can be composed into novel complex combinations, permitting the acquisition of an open ended, potentially infinite expressive capacity from finite learning experiences. Influential arguments have held that neural networks fail to explain this aspect of behavior, leading many to dismiss them as viable models of human cognition. Over the last decade, however, modern deep neural networks (DNNs), which share the same fundamental design principles as their predecessors, have come to dominate artificial intelligence, exhibiting the most advanced cognitive behaviors ever demonstrated in machines. In particular, large language models (LLMs), DNNs trained to predict the next word on a large corpus of text, have proven capable of sophisticated behaviors such as writing syntactically complex sentences without grammatical errors, producing cogent chains of reasoning, and even writing original computer programs -- all behaviors thought to require compositional processing. In this chapter, we survey recent empirical work from machine learning for a broad audience in philosophy, cognitive science, and neuroscience, situating recent breakthroughs within the broader context of philosophical arguments about compositionality. In particular, our review emphasizes two approaches to endowing neural networks with compositional generalization capabilities: (1) architectural inductive biases, and (2) metalearning, or learning to learn. We also present findings suggesting that LLM pretraining can be understood as a kind of metalearning, and can thereby equip DNNs with compositional generalization abilities in a similar way. We conclude by discussing the implications that these findings may have for the study of compositionality in human cognition and by suggesting avenues for future research.

研究の動機と目的

• 現代の深層ニューラルネットワーク（DNNs）が、人間の認知の特徴である構成的汎化を真正に示せるかどうかを評価すること。
• 構成的性が記号的アーキテクチャを必要とするという古典的見解に反論し、DNNs が非記号的手段によって構成的行動を再現できることを示すこと。
• アーキテクチャ的誘導的バイアスとメタラーニング（特に大規模事前学習を含む）が、DNNs が構成的に一般化するのをどのように可能にするかを調査すること。
• これらの発見が、特に心的表象の性質と構成的性の説明的役割に関して、認知科学に与える含意を評価すること。
• 機械的解釈可能性（mechanistic interpretability）を、DNNs が構成的性を機能的に意味のある方法で実装しているかどうか、理論的に有用な情報を提供する方法で実装しているかどうかを特定するためのツールとして提唱すること。

提案手法

• DNNs における構成的汎化を可能にするメカニズムを特定するため、機械学習分野の実証的研究を調査すること。
• トランスフォーマーにおけるアテンションメカニズムなどのアーキテクチャ的誘導的バイアスを、組み込み済みの構成的誘導的バイアスの源として分析すること。
• 特に大規模言語モデルの事前学習を含むメタラーニングを、未知の構成的構造への一般化を可能にする「学びの学び」の形として分析すること。
• 両者ともに見たことのない例を超えた一般化を可能にすることを示すことで、メタラーニングと古典的構成的性の類似性を明らかにすること。
• DNNs の内部表現が構成的構造を反映しているかどうかを調べるために、機械的解釈可能性技術を適用すること。
• 実装と説明に関する哲学的論争に参加し、DNNs が古典的システムを単に再現しているのか、それとも新たな認知的洞察を提供しているのかを評価すること。

Figure 1: Transformer basics. A) Comparison with recurrent neural networks (RNNs) in the language modeling setting (predicting the next word). A fundamental difference between RNNs and transformers is that RNNs must compress the entire past into a single hidden vector. To see this, notice how the on

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、明示的な記号的アーキテクチャを持たずに構成的汎化を達成できるか？
• RQ2 トランスフォーマーにおけるアテンションメカニズムを含む、現代のDNNsにおけるアーキテクチャ的誘導的バイアスは、どの程度構成的行動を支援するか？
• RQ3 特に大規模言語モデルの事前学習が、DNNs に構成的汎化能力をどのように与えるか？
• RQ4 DNNs が構成的行動を再現する成功は、構成的性の哲学的および認知科学的立場にどのような含意をもたらすか？
• RQ5 機械的解釈可能性は、DNNs が人間の認知に類似した機能的類似性を持つ方法で構成的性を実装しているかどうかを明らかにできるか？

主な発見

• 現代のDNNsにおけるアーキテクチャ的誘導的バイアス、特にトランスフォーマーにおけるアテンションメカニズムは、構成的汎化の構造的基盤を提供する。
• 特に、膨大なテキストコーパス上で大規模言語モデルを事前学習することは、「学びの学び」の一種として機能し、未知の構成的構造への一般化を可能にする。
• LLMs は、文法的に複雑な文の生成、推論チェーン、プログラム合成などのタスクで、強固な構成的汎化を示している。
• LLMs の事前学習は、明示的なメタラーニングプロトコルから得られるものと同様の構成的汎化能力をモデルに与える「メタラーニング」の一形態として理解できる。
• 機械的解釈可能性の研究から、DNNs が古典理論と部分的に類似した方法で構成的構造を実装している可能性があるが、同時に意味的で有用な点で逸脱していることも示唆されている。
• これらの発見は、構成的性が記号的システムに特有であるという見解に反論し、非記号的アーキテクチャが体系的かつ生産的な認知を支えることができる可能性を示唆している。

Figure 2: Are neural networks stimulus-response learners, or do they learn to solve problems with compositional algorithms? Two extreme possibilities are depicted for natural language (top) and simple arithmetic (bottom). In either case, a stimulus-response learner (left) would simply memorize a loo