[논문 리뷰] The Stochastic Parrot on LLM's Shoulder: A Summative Assessment of Physical Concept Understanding

Yu Mo, Lemao Liu외 6명|ArXiv.org|2025. 02. 13.

Sports Analytics and Performance인용 수 8

한 줄 요약

본 논문은 LLM의 확률적 앵무새 현상을 정량화하기 위한 물리 개념 이해의 총합 평가인 PhysiCo를 제시하고, 낮은 수준의 언어 성능에도 불구하고 인간이 고수준의 추상 과제에서 LLM보다 현저히 우수하다는 것을 보인다.

ABSTRACT

In a systematic way, we investigate a widely asked question: Do LLMs really understand what they say?, which relates to the more familiar term Stochastic Parrot. To this end, we propose a summative assessment over a carefully designed physical concept understanding task, PhysiCo. Our task alleviates the memorization issue via the usage of grid-format inputs that abstractly describe physical phenomena. The grids represents varying levels of understanding, from the core phenomenon, application examples to analogies to other abstract patterns in the grid world. A comprehensive study on our task demonstrates: (1) state-of-the-art LLMs, including GPT-4o, o1 and Gemini 2.0 flash thinking, lag behind humans by ~40%; (2) the stochastic parrot phenomenon is present in LLMs, as they fail on our grid task but can describe and recognize the same concepts well in natural language; (3) our task challenges the LLMs due to intrinsic difficulties rather than the unfamiliar grid format, as in-context learning and fine-tuning on same formatted data added little to their performance.

연구 동기 및 목표

• LLM이 두 수준의 과제 설계(저수준 자연어와 고수준 추상 격자 표현)를 사용하여 암기에 기반한 이해를 넘어 물리 개념을 실제로 이해하는지 평가한다.
• 물리 개념 이해에 대한 현시대 최첨단 LLM과 인간 간의 성능 차이를 정량화한다.
• 문맥 내 학습이나 격자 형식 데이터에 대한 미세조정이 LLM의 추상적 개념 이해를 개선하는지 조사한다.

제안 방법

• PhysiCo를 저수준(텍스트 기반 개념 정의, 인식, 생성)과 고수준(격자/추상 표현 및 연관 과제) 두 가지 이해 수준으로 설계한다.
• Core(격자 기반 핵심 속성)와 Associative(ARC 유도 연관) 하위 과제의 52개 물리 개념을 생성한다.
• 제로샷, ICL, SFT 조건에서 다양한 오픈소스 및 상용 LLM을 평가하고, 자동 지표와 인간 지표를 사용해 분석한다.
• 저수준 이해를 평가하기 위해 개념 선택, 생성, 이미지 기반 인식을 사용하고, 고수준 이해를 평가하기 위해 격자 및 행렬 기반 과제를(ARC-유도) 활용한다.
• 체인-오브-생각 프롬프트와 멀티모달 입력의 효과를 탐색하고 인간 평가 기준과 비교한다.

Figure 1: Illustration of a “Stochastic Parrot” by our PhysiCo task consisting of both low-level and high-level subtasks in parallel. For a concept Gravity , an LLM can generate its accurate description in natural language, but cannot interpret its grid-format illustration.

실험 결과

연구 질문

• RQ1 RQ1: 물리 개념의 정의 및 설명을 다루는 저수준 하위과제에서 LLM이 얼마나 잘 수행하는가?
• RQ2 RQ2: 인간은 물리 개념의 추상적 격자 기반 표현을 LLM 만큼 이해할 수 있는가?
• RQ3 RQ3: 텍스트 전용 입력과 멀티모달 입력에서 격자/행렬 표현(ARC 스타일 과제)으로 제시될 때 LLM은 개념을 이해하는가?
• RQ4 RQ4: 멀티모달 LLM이 PhysiCo Core 및 Associative 과제에서 인간과의 격차를 줄이는가?
• RQ5 RQ5: 격자 형식 데이터에 대한 맥락 내 학습이나 미세조정이 고수준 과제에서 성능을 크게 향상시키는가?
• RQ6 RQ6: PhysiCo 데이터에 대한 라벨링 학습으로 LLM이 얼마나 큰 이점을 얻을 수 있는가?

주요 결과

• LLMs는 저수준의 텍스트 기반 개념 인식 및 생성 과제에서 높은 정확도(>95%)를 달성하지만, 고수준 격자 기반 과제에서는 인간보다 약 40포인트 낮아 확률적 앵무새 현상을 시사한다.
• 인간은 PhysiCo Core 과제를 90% 이상, Associative 과제를 약 78%의 정확도로 해결하여 추상적 이해에서 인간과 기계 간 격차가 큼을 보여준다.
• 멀티모달 LLM들(예: GPT-4o)은 일부 텍스트 전용 모델에 비해 Core 성능이 향상되지만 여전히 고수준 과제에서 인간보다 뒤처지며 Associative 과제의 성능은 제한적이다.
• Chain-of-Thought 프롬프트와 같은 프롬프트 기법은 제한된 이득을 제공하며, 훈련을 통한 격자 친숙성이 격차를 의미 있게 좁히지 않는다.
• PhysiCo 데이터에 대한 맥락 내 학습이나 미세조정은 미미하거나 개선이 없으며, 깊은 이해를 위한 현재 사전 학습의 내재적 한계를 시사한다.

Figure 2: Examples of input-output grids labeled as Gravity , with increasing difficulty levels.