[논문 리뷰] Event knowledge in large language models: the gap between the impossible and the unlikely

Carina Kauf, Anna A. Ivanova외 6명|arXiv (Cornell University)|2022. 12. 02.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 표면적 패턴을 넘어서 일반화된 공통 사건 지식을 습득하는지 여부를, 가능한 사건 기술과 불가능한 사건 기술 간의 가능성 할당을 비교하여 조사한다. BERT에서 MPT에 이르기까지 다섯 개의 LLM을 대상으로 최소한의 문장 쌍을 사용한 연구에서, LLMs는 불가능한 사건과 가능한 사건을 신뢰성 있게 구분하지만, 가능성이 높은 사건과 가능성이 낮은 사건 간의 선호도가 일관되지 않음을 확인하여, 불가능성에 대한 표현과 불가능성에 대한 표현 사이에 격차가 있음을 드러낸다.

ABSTRACT

Word co-occurrence patterns in language corpora contain a surprising amount of conceptual knowledge. Large language models (LLMs), trained to predict words in context, leverage these patterns to achieve impressive performance on diverse semantic tasks requiring world knowledge. An important but understudied question about LLMs' semantic abilities is whether they acquire generalized knowledge of common events. Here, we test whether five pre-trained LLMs (from 2018's BERT to 2023's MPT) assign higher likelihood to plausible descriptions of agent-patient interactions than to minimally different implausible versions of the same event. Using three curated sets of minimal sentence pairs (total n=1,215), we found that pre-trained LLMs possess substantial event knowledge, outperforming other distributional language models. In particular, they almost always assign higher likelihood to possible vs. impossible events (The teacher bought the laptop vs. The laptop bought the teacher). However, LLMs show less consistent preferences for likely vs. unlikely events (The nanny tutored the boy vs. The boy tutored the nanny). In follow-up analyses, we show that (i) LLM scores are driven by both plausibility and surface-level sentence features, (ii) LLM scores generalize well across syntactic variants (active vs. passive constructions) but less well across semantic variants (synonymous sentences), (iii) some LLM errors mirror human judgment ambiguity, and (iv) sentence plausibility serves as an organizing dimension in internal LLM representations. Overall, our results show that important aspects of event knowledge naturally emerge from distributional linguistic patterns, but also highlight a gap between representations of possible/impossible and likely/unlikely events.

연구 동기 및 목표

• 사전 훈련된 대규모 언어 모델(LLMs)이 표면적 패턴을 초월해 일반화된 공통 사건 지식을 습득하는지 조사하기.
• LLMs가 가능한 사건과 불가능한 주체-목적어 상호작용 간에 얼마나 잘 구분하는지 평가하기.
• 특히 가능성의 정도가 미묘할 경우, LLMs가 가능성이 높은 사건과 가능성이 낮은 사건을 얼마나 잘 구분하는지 정도를 분석하기.
• 문장의 문법적 및 의미적 변형이 LLM의 가능성 평가에 어떤 영향을 미치는지 분석하기.
• 문장의 가능성 여부가 LLM의 내부 표현 구조를 조직화하는 데 기여하는지 평가하기.

제안 방법

• 연구는 세 가지 정제된 데이터셋을 기반으로 총 1,215개의 최소 문장 쌍을 구성하여, 주체-목적어 역할만 다를 뿐 다른 점이 없는 문장을 통해 가능성 여부를 테스트한다.
• BERT에서 MPT에 이르기까지 다섯 개인 사전 훈련된 LLMs가 각 문장 쌍에 대한 가능성 점수를 평가한다.
• 불가능한 사건(예: '노트북이 선생님을 산다')과 가능한 사건(예: '선생님이 노트북을 산다') 간의 가능성 비교를 수행한다.
• 추가로 가능성이 높은 사건(예: '아이돌이 소년을 가르쳤다')과 가능성이 낮은 사건(예: '소년이 아이돌을 가르쳤다') 간의 비교도 수행한다.
• 표면적 특성(예: 단어 순서, 문법)과 의미 유사도를 분석하여, 모델의 판단에 영향을 미치는 요소를 분리한다.
• 내부 표현을 조사하여, 가능성 여부가 모델의 잠재 공간 내에서 조직화된 차원으로 기능하는지 평가한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(LLMs)은 가능한 사건 기술에 대해 불가능한 사건 기술보다 더 높은 가능성을 할당하는가?
• RQ2 가능성이 모호할 경우, LLMs는 가능성이 높은 사건 기술에 대해 불가능성이 낮은 사건 기술을 얼마나 일관되게 선호하는가?
• RQ3 LLM의 가능성 평가가 의미적 가능성보다 표면적 문법적 또는 어휘적 특성에 얼마나 영향을 받는가?
• RQ4 LLM의 가능성 선호도가 문법적 변형(예: 능동태 대 피동태)과 의미적 변형(예: 동의어 문장) 간에 얼마나 일반화되는가?
• RQ5 문장의 가능성 여부가 LLM의 내부 표현에서 구조적 조직 차원으로 코딩되는가?

주요 결과

• LLMs는 가능한 사건에 대해 불가능한 사건보다 높은 가능성을 지속적으로 할당하며, 테스트된 모든 모델에서 거의 보편적인 선호도를 보였다.
• LLMs는 가능성이 높은 사건과 가능성이 낮은 사건 간의 선호도가 유의미하게 일관되지 않음을 보여, '불가능성'과 '불가능성'에 대한 표현 간 격차가 있음을 시사한다.
• LLM의 가능성 점수는 가능성 여부뿐 아니라 단어 순서, 문법 등 표면적 문장 특성에도 영향을 받는다.
• 문법적 변형(예: 능동태 대 비료태) 간의 선호도 일반화 능력은 강하지만, 의미적 변형(예: 동의어 문장) 간에는 약해져, 어휘 형태에 민감함을 시사한다.
• 일부 모델의 오류는 인간의 판단 모호성과 유사하여, 문제의 어려움이 모델의 한계 때문만은 아니며 진정한 인지적 모호성을 반영하고 있음을 나타낸다.
• 문장의 가능성 여부는 LLM의 내부 표현에서 의미 있는 조직 차원으로 기능하며, 군집화 및 차원 분석을 통해 이를 입증할 수 있었다.