[논문 리뷰] From Frege to chatGPT: Compositionality in language, cognition, and deep neural networks

Jacob Russin, Sam Whitman McGrath외 1명|arXiv (Cornell University)|2024. 05. 24.

Biomedical Text Mining and Ontologies인용 수 4

한 줄 요약

이 논문은 현대 딥 뉴럴 네트워크(DNNs), 특히 대규모 언어 모델(LLMs)이 명시적인 기호 아키텍처 없이도 알려진 요소들을 조합하여 새로운 의미 있는 구조를 만들어내는 조합적 일반화(compositional generalization)를 어떻게 달성하는지 조사한다. 이는 전통적으로 기호 시스템만이 체계적이고 생산적인 인지 기능을 지원할 수 있다고 여겨져 왔던 견해에 도전하며, 아키텍처의 인덕티브 바이어스와 메타러닝(특히 LLM의 사전학습)이 DNN이 조합성의 핵심 행동적 특징을 재현할 수 있음을 주장한다.

ABSTRACT

Compositionality has long been considered a key explanatory property underlying human intelligence: arbitrary concepts can be composed into novel complex combinations, permitting the acquisition of an open ended, potentially infinite expressive capacity from finite learning experiences. Influential arguments have held that neural networks fail to explain this aspect of behavior, leading many to dismiss them as viable models of human cognition. Over the last decade, however, modern deep neural networks (DNNs), which share the same fundamental design principles as their predecessors, have come to dominate artificial intelligence, exhibiting the most advanced cognitive behaviors ever demonstrated in machines. In particular, large language models (LLMs), DNNs trained to predict the next word on a large corpus of text, have proven capable of sophisticated behaviors such as writing syntactically complex sentences without grammatical errors, producing cogent chains of reasoning, and even writing original computer programs -- all behaviors thought to require compositional processing. In this chapter, we survey recent empirical work from machine learning for a broad audience in philosophy, cognitive science, and neuroscience, situating recent breakthroughs within the broader context of philosophical arguments about compositionality. In particular, our review emphasizes two approaches to endowing neural networks with compositional generalization capabilities: (1) architectural inductive biases, and (2) metalearning, or learning to learn. We also present findings suggesting that LLM pretraining can be understood as a kind of metalearning, and can thereby equip DNNs with compositional generalization abilities in a similar way. We conclude by discussing the implications that these findings may have for the study of compositionality in human cognition and by suggesting avenues for future research.

연구 동기 및 목표

• 현대 딥 뉴럴 네트워크(DNNs)가 인간 인지의 상징적 특징인 조합적 일반화를 진정으로 나타내는지 평가하는 것.
• 조합성이 기호 아키텍처가 필요하다는 전통적 견해를 도전하며, DNN이 비기호적 수단을 통해 조합적 행동을 재현할 수 있음을 보여주는 것.
• 아키텍처의 인덕티브 바이어스와 메타러닝(대규모 사전학습 포함)이 DNN의 조합적 일반화를 어떻게 가능하게 하는지 탐구하는 것.
• 이러한 발견이 인지과학, 특히 정서적 표현의 본질과 조합성의 설명적 역할에 미치는 영향을 평가하는 것.
• 기계적 해석 가능성(mechanistic interpretability)을 통해 DNN이 조합성을 기능적으로 의미 있는 방식과 이론적으로 유의미한 방식으로 어떻게 실현하는지 판단하는 데 도구로 활용할 것을 주장하는 것.

제안 방법

• DNN에서 조합적 일반화를 가능하게 하는 메커니즘을 규명하기 위해 기계학습 분야의 경험적 연구를 조사하는 것.
• 어텐션 메커니즘을 포함한 아키텍처의 인덕티브 바이어스를 조합적 인덕티브 바이어스의 근원으로 분석하는 것.
• 특히 대규모 사전학습된 LLM을 통한 메타러닝이 새로운 조합적 구조로의 일반화를 가능하게 하는 학습-학습 방식임을 분석하는 것.
• 메타러닝과 고전적 조합성 간의 유사성을 보여주며, 둘 다 볼 수 없는 예시를 초월한 일반화를 가능하게 한다는 점에서 유사성을 밝혀내는 것.
• DNN의 내부 표현이 조합적 구조를 반영하고 있는지 확인하기 위해 기계적 해석 가능성 기법을 적용하는 것.
• 구현 및 설명에 관한 철학적 논의에 참여하여, DNN이 고전적 시스템을 단순히 구현하는 것인지, 아니면 새로운 인지적 통찰을 제공하는지 평가하는 것.

Figure 1: Transformer basics. A) Comparison with recurrent neural networks (RNNs) in the language modeling setting (predicting the next word). A fundamental difference between RNNs and transformers is that RNNs must compress the entire past into a single hidden vector. To see this, notice how the on

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 명시적인 기호 아키텍처 없이도 조합적 일반화를 달성할 수 있는가?
• RQ2 현대 DNN의 아키텍처 인덕티브 바이어스, 특히 어텐션 메커니즘과 같은 것들이 조합적 행동을 어느 정도 지원하는가?
• RQ3 메타러닝—특히 대규모 언어 모델의 사전학습—은 DNN에 조합적 일반화 능력을 어떻게 부여하는가?
• RQ4 DNN이 조합적 행동을 재현하는 데 성공한 것은 조합성의 철학적 및 인지과학적 지위에 어떤 함의를 갖는가?
• RQ5 기계적 해석 가능성은 DNN이 인간 인지와 기능적으로 유사한 방식으로 조합성을 실현하고 있는지 밝혀낼 수 있는가?

주요 결과

• 현대 DNN의 아키텍처 인덕티브 바이어스, 특히 트랜스포머의 어텐션 메커니즘은 조합적 일반화의 구조적 기반을 제공한다.
• 메타러닝, 특히 거대한 텍스트 코퍼스에서 대규모 언어 모델을 사전학습하는 방식은 학습-학습의 한 형태로서 새로운 조합적 구조로의 일반화를 가능하게 한다.
• LLMs는 문법적으로 복잡한 문장 생성, 추론 체인, 프로그램 합성 등의 작업에서 강력한 조합적 일반화 능력을 보인다.
• LLM의 사전학습는 명시적인 메타러닝 프로토콜을 통해 유도되는 것과 유사한 조합적 일반화 능력을 갖춘 모델을 준비시키는 메타러닝의 한 형태로 이해할 수 있다.
• 기계적 해석 가능성 연구는 DNN이 고전 이론과 부분적으로 유사한 방식으로 조합적 구조를 실현할 수 있지만, 동시에 의미 있고 정보적인 방식으로 다릅니다.
• 이러한 발견은 조합성이 기호 시스템에만 국한된 것이 아니며, 비기호 아키텍처도 체계적이고 생산적인 인지를 지원할 수 있음을 도전한다.

Figure 2: Are neural networks stimulus-response learners, or do they learn to solve problems with compositional algorithms? Two extreme possibilities are depicted for natural language (top) and simple arithmetic (bottom). In either case, a stimulus-response learner (left) would simply memorize a loo