[논문 리뷰] Evaluating statistical language models as pragmatic reasoners

Benjamin Lipkin, Lionel Wong외 2명|arXiv (Cornell University)|2023. 05. 01.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 가짜 윷놀이 게임에서 가변성 어미 'strong'를 포함한 맥락에 민감한 확률적 해석을 유추할 수 있는 능력을 테스트하여 대규모 언어 모델(LM)을 실용적 추론 도구로 평가한다. LLM은 '초보자에게는 매우 강한'과 같은 복잡한 실용적 표현에 대해 인간과 유사한 분포를 성공적으로 생성하지만, 否정 및 극성 역전에서는 어려움을 겪어 실용적 추론의 부분적인 분산 처리가 이루어지고 있음을 시사한다.

ABSTRACT

The relationship between communicated language and intended meaning is often probabilistic and sensitive to context. Numerous strategies attempt to estimate such a mapping, often leveraging recursive Bayesian models of communication. In parallel, large language models (LLMs) have been increasingly applied to semantic parsing applications, tasked with inferring logical representations from natural language. While existing LLM explorations have been largely restricted to literal language use, in this work, we evaluate the capacity of LLMs to infer the meanings of pragmatic utterances. Specifically, we explore the case of threshold estimation on the gradable adjective ``strong'', contextually conditioned on a strength prior, then extended to composition with qualification, negation, polarity inversion, and class comparison. We find that LLMs can derive context-grounded, human-like distributions over the interpretations of several complex pragmatic utterances, yet struggle composing with negation. These results inform the inferential capacity of statistical language models, and their use in pragmatic and semantic parsing applications. All corresponding code is made publicly available (https://github.com/benlipkin/probsem/tree/CogSci2023).

연구 동기 및 목표

• 통계적 언어 모델이 맥락 기반 의미 분포를 복원함으로써 암묵적으로 실용적 추론을 수행할 수 있는지 조사하기 위해.
• LLM이 자격 부여, 부정, 극성 역전 등을 포함한 복잡한 실용적 의미를 얼마나 잘 조합할 수 있는지 평가하기 위해.
• 통제된 의미 해석 작업에서 LLM이 생성한 해석 분포를 인간이 추정한 분포와 비교하기 위해.
• LLM이 사전 훈련 과정에서 학습한 통계 패턴을 통해 인간의 추론 방식과 유사하게 고비용의 확률적 추론을 암묵적으로 분산 처리하는지 탐색하기 위해.

제안 방법

• 연구는 수치적 사전 확률을 갖는 플레이어 능력에 대한 가능한 세계의 생성 모델을 정의하기 위해 합리적 언어 행위(RSA) 모델 기반의 확률적 프로그래밍 언어(PPL) 프레임워크를 사용한다.
• 'strong', 'very strong for a beginner', 또는 'not strong'와 같은 발화는 PPL 상의 조건부 문장으로 간주되어 플레이어 능력에 대한 사후 확률적 믿음을 업데이트한다.
• LLM은 확률적 계산을 명시적으로 수행하지 않고도 강도 임계치에 대한 사후 분포를 추정하도록 프롬프트된다. 이는 명시적 확률 계산 없이도 실용적 추론을 시뮬레이션하는 것이다.
• 인간 참가자들에게도 동일한 분포를 추정하도록 요청하여 LLM 출력와 직접 비교할 수 있도록 한다.
• 평가에는 부정, 극성 역전, 클래스 비교가 포함되어 간접적 참조 및 맥락적 모호성에 대한 견고함을 테스트한다.
• LLM과 인간의 분포 간 통계적 유사성은 KL 발산 및 상관계수 지표를 사용하여 측정한다.

Figure 1: Schematic overview. LLMs stand in for the traditional pragmatics pipeline, often recovering human-like estimates over multiple interpretations of complex constructions.

실험 결과

연구 질문

• RQ1 LLM은 'strong'와 같은 가변성 형용사를 포함한 실용적 발화의 맥락 기반, 인간과 유사한 의미 분포를 추론할 수 있는가?
• RQ2 LLM은 자격 부여('very strong'), 부정('not strong'), 극성 역전('weak')과 같은 복잡한 구성에 대해 실용적 의미를 얼마나 잘 조합하는가?
• RQ3 LLM은 실용적 추론 과제에서 인간 청취자의 확률적 추론 과정을 어느 정도 모방하는가?
• RQ4 LLM은 실용적 추론의 계산 비용을 암묵적으로 분산 처리하는가, 아니면 사전 훈련 데이터에서 학습한 통계 패턴을 통해 히우리스틱적 근사치를 생성하는가?

주요 결과

• LLM은 '초보자에게는 매우 강한'과 같은 복잡한 실용적 발화에 대해 인간이 추정한 분포와 매우 유사한 분포를 생성하며, 높은 상관계수(r > 0.8)와 낮은 KL 발산을 보였다.
• 모델은 맥락에 민감한 비교 및 간접적 참조를 성공적으로 처리하여 어휘적 동의어 또는 정확한 일치가 아닌 경우에도 견고함을 보였다.
• LLM은 부정 처리에서 의미 조합을 올바르게 하지 못해 인간 추론과 크게 다를 분포를 생성하여, 부정 조건 하에서의 조합적 추론에 실패함을 시사한다.
• 부정 처리에서의 격차는 이러한 계산이 암묵적 확률적 추론이 아닌 명시적 비용이 드는 추론이 필요할 수 있음을 시사한다.
• LLM은 강력한 어휘 의미적 견고성을 보였으며, 맥락적 모호성을 다루는 데 있어 조합적 범주 문법 기반 전통적 의미 해석기보다 뛰어난 성능을 보였다.
• 결과는 LLM이 사전 훈련 데이터의 통계적 규칙성 덕분에 일부 실용적 추론을 암묵적으로 분산 처리할 수 있다는 가설을 지지하지만, 특히 명시적 논리적 또는 확률적 조작이 필요한 경우에는 그렇지 않음을 시사한다.

Figure 2: Example of full text passed to LLM for a single query. The tug-of-war domain model (blue) and task instructions (green) are consistent across all trials. For each evaluated sentence (yellow), the probability of each program (red) is evaluated to return a score for a given interpretation.