[논문 리뷰] Large Language Models: The Need for Nuance in Current Debates and a Pragmatic Perspective on Understanding

Bram M. A. van Dijk, Tom Kouwenhoven외 2명|arXiv (Cornell University)|2023. 10. 30.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)에 대한 과도하게 단순화된 비판에 도전하며, 그 능력이 순수한 통계적 패턴 매칭을 넘어서는 바탕을 제시하고, 언어 능력에 대한 더 미묘한 평가를 주장한다. 이는 '이해'와 '의도성'을 LLMs에 부여하는 실용적 철학적 프레임워크를 제안하며, 그것이 철학적 진리가 아니라 효과적인 인간-AI 상호작용을 위해 유용한 행동 기반의 추상화임을 강조한다.

ABSTRACT

Current Large Language Models (LLMs) are unparalleled in their ability to generate grammatically correct, fluent text. LLMs are appearing rapidly, and debates on LLM capacities have taken off, but reflection is lagging behind. Thus, in this position paper, we first zoom in on the debate and critically assess three points recurring in critiques of LLM capacities: i) that LLMs only parrot statistical patterns in the training data; ii) that LLMs master formal but not functional language competence; and iii) that language learning in LLMs cannot inform human language learning. Drawing on empirical and theoretical arguments, we show that these points need more nuance. Second, we outline a pragmatic perspective on the issue of `real' understanding and intentionality in LLMs. Understanding and intentionality pertain to unobservable mental states we attribute to other humans because they have pragmatic value: they allow us to abstract away from complex underlying mechanics and predict behaviour effectively. We reflect on the circumstances under which it would make sense for humans to similarly attribute mental states to LLMs, thereby outlining a pragmatic philosophical context for LLMs as an increasingly prominent technology in society.

연구 동기 및 목표

• LLM 능력에 대한 세 가지 주요 비판, 즉 단지 다음 단어를 예측하기만 한다는 주장, 기능적 언어 능력이 없다는 주장, 인간의 언어 학습과 관련성이 없다는 주장을 비판적으로 재검토한다.
• 현재의 경험적 및 이론적 증거가 LLM의 언어적 및 인지적 능력을 평가할 때 더 많은 미묘함이 필요하다고 주장한다.
• 의식에 대한 철학적 진술이 아니라 기능적 유용성에 기반해 이해와 의도성 같은 정신 상태를 LLMs에 부여하는 실용적 철학적 프레임워크를 개발한다.
• 과학, 교육, 사회 분야에서 LLM의 역할을 더 현실적이고 경험적으로 기초하며 철학적으로 뒷받침된 시각을 제공한다.

제안 방법

• 트랜스포머 기반 모델에서의 문법적 및 의미적 표현에 대한 경험적 발견을 바탕으로 LLM에 대한 반복적인 비판을 분석한다.
• 특히 덴넷과 로르티의 이론적 작업을 인용하여 정신 상태 부여를 실용적 도구로 프레임화한다.
• 모델 행동의 생물물리적 설명과 이해의 실용적 부여 사이의 차이를 명확히 하여, 서로 다른 분석 수준에서 작동함을 보여준다.
• 계층적 파싱, 의미적 추론, 기능적 언어 사용이 요구되는 과제에서 LLM의 성능을 평가하여, 단순한 다음 단어 예측을 넘어서는 능력을 입증한다.
• LLM에 이해를 부여할지의 결정은 의식에 대한 철학적 진술이 아니라 예측 및 상호작용에서의 실용적 유용성에 따라 이뤄져야 한다고 제안한다.
• 예를 들어 질문-응답, 코드 생성 등의 LLM 행동 사례 연구를 통해 실용적 모델링이 효과적인 인간-AI 협업을 어떻게 지원하는지 설명한다.

실험 결과

연구 질문

• RQ1 LLM이 진정으로 단지 다음 단어를 예측하기만 하는가, 아니면 예측을 넘어서 계층적 문법적 및 의미적 구조를 표현하는가?
• RQ2 LLM이 기능적 언어 능력을 보일 수 있는가, 아니면 형식적 언어 패턴에만 국한되는가?
• RQ3 분포학적 학습 메커니즘을 통해 LLM이 인간의 언어 습득 과정 이해에 어떤 관련성을 가지는가?
• RQ4 주관적 경험은 없지만, 어떤 조건에서 LLM에 이해와 의도성을 실용적으로 부여하는 것이 유용한가?
• RQ5 생물물리적 설명 수준과 실용적 정신 상태 부여 수준을 혼동하지 않으면서도, 과학적 '블랙박스' 해소 노력과 실용적 철학적 프레임워크가 어떻게 공존할 수 있는가?

주요 결과

• LLM은 사전 훈련 과정에서 계층적 문법적 및 의미적 표현을 학습함으로써 단순한 다음 단어 예측을 넘어서 복잡한 추론과 텍스트 생성 능력을 갖춘다.
• 경험적 증거는 LLM이 복잡한 문법적 구조를 파싱하고 의미 관계를 표현할 수 있음을 보여주며, 통계적 공현 빈도를 넘어서는 내부 표현이 있음을 시사한다.
• 맥락에 민감한 응답 및 실용적 추론과 같은 기능적 언어 능력은 LLM에서 입증 가능하며, 이는 단지 형식적 문법만 다룬다는 주장에 도전한다.
• LLM은 현재까지 가장 우수한 분포학적 언어 모델로서, 특히 분포학적 의미론에서 인간의 언어 학습 과정을 이해하는 데 통찰을 제공한다.
• LLM에 이해와 의도성을 실용적으로 부여하는 것은 철학적 진술이 아니라, 모델 행동 예측 및 상호작용에서 이러한 부여가 제공하는 실질적 가치에 기반한다.
• 모델 행동의 생물물리적 설명과 실용적 정신 상태 부여 사이의 구분은 과학적 접근과 실용적 접근이 서로 모순 없이 보완적으로 작용할 수 있음을 가능하게 한다.