[논문 리뷰] A Sentence is Worth a Thousand Pictures: Can Large Language Models Understand Hum4n L4ngu4ge and the W0rld behind W0rds?

Evelina Leivada, Gary Marcus외 2명|arXiv (Cornell University)|2023. 07. 26.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 LLM이 이론적으로 정보가 풍부한 표현인지, 단지 기계적 도구에 불과한지 여부를 평가하고, 새로운 leet 태스크를 사용해 세계 경험으로 언어를 구 Boden grounding하는 능력을 검증하며, 인간이 모델보다 우수함을 보여준다.

ABSTRACT

Modern Artificial Intelligence applications show great potential for language-related tasks that rely on next-word prediction. The current generation of Large Language Models (LLMs) have been linked to claims about human-like linguistic performance and their applications are hailed both as a step towards artificial general intelligence and as a major advance in understanding the cognitive, and even neural basis of human language. To assess these claims, first we analyze the contribution of LLMs as theoretically informative representations of a target cognitive system vs. atheoretical mechanistic tools. Second, we evaluate the models' ability to see the bigger picture, through top-down feedback from higher levels of processing, which requires grounding in previous expectations and past world experience. We hypothesize that since models lack grounded cognition, they cannot take advantage of these features and instead solely rely on fixed associations between represented words and word vectors. To assess this, we designed and ran a novel 'leet task' (l33t t4sk), which requires decoding sentences in which letters are systematically replaced by numbers. The results suggest that humans excel in this task whereas models struggle, confirming our hypothesis. We interpret the results by identifying the key abilities that are still missing from the current state of development of these models, which require solutions that go beyond increased system scaling.

연구 동기 및 목표

• LLMs가 인간 인지의 이론적으로 정보가 풍부한 표현을 제공하는지, 아니면 mere 기계적 도구인지 여부를 평가한다.
• 언어 이해에 대한 상향식 처리와 근거 있는 경험의 역할을 조사한다.
• 현재 모델이 근거 있는 인지 능력을 활용할 수 있는지 또는 고정된 단어-벡터 연관에 의존하는지 여부를 테스트한다.

제안 방법

• LLMs를 인간 인지와 비교하여 모델이 단어 동시출현을 넘어서는 고차원적인 근거와 맥락에 접근할 수 있는지 평가한다.
• 체계적인 문자-숫자 치환으로 문장을 해독하는 새로운 leet 태스크를 설계하고 실행하여 이해를 탐색한다.
• 파라미터 확장 외에 현재 모델에서 누락된 인지 능력이 무엇인지 결과를 분석한다.

실험 결과

연구 질문

• RQ1 대형 언어 모델이 인간의 언어와 인지에 대한 이론적으로 정보가 풍부한 표현으로 작용할 수 있는가, 아니면 주로 이론적이지 않은 도구에 불과한가?
• RQ2 LLMs가 언어 이해에서 세계 경험을 활용하는 근거 있는 처리와 상향식 처리를 보이는가?
• RQ3 현재 LLM이 파괴적 정 orthography 하에서 디코딩이 필요한 과제에서 인간을 능가할 수 있는가, 아니면 인간이 여전히 우위에 있는가?
• RQ4 언어와 세계 지식의 근거 있는 이해를 가능하게 하는 핵심 능력은 무엇이 누락되어 있는가?

주요 결과

• 사람은 leet 태스크에서 뛰어나고 모델은 이를 따라가지 못하여 모델이 근거 있는 인지 능력을 결여한 것으로 보인다.
• 고정된 단어-벡터 연관은 근거 있는 처리와 상향식 처리가 필요한 과제에 충분하지 않음을 시사한다.
• 모델의 크기만 키우는 것으로는 해결될 수 없는 누락된 능력들이 있음을 시사한다.
• 본 연구는 차원의 확장만으로는 근거 있는 언어 이해를 달성하기 어렵다고 해석한다.