[论文解读] Event knowledge in large language models: the gap between the impossible and the unlikely

Carina Kauf, Anna A. Ivanova+6 more|arXiv (Cornell University)|Dec 2, 2022

Topic Modeling被引用 6

一句话总结

本文研究大型语言模型（LLMs）是否通过比较其对合理与不合理事件描述的可能性分配，获得了对常见事件的泛化知识。在五种大型语言模型（从 BERT 到 MPT）的最小句子对上进行的实验表明，LLMs 能够可靠地区分不可能事件与合理事件，但在对可能事件与不太可能事件的偏好上表现不一致，揭示了其对‘不可能性’与‘不太可能’的表征之间存在差距。

ABSTRACT

Word co-occurrence patterns in language corpora contain a surprising amount of conceptual knowledge. Large language models (LLMs), trained to predict words in context, leverage these patterns to achieve impressive performance on diverse semantic tasks requiring world knowledge. An important but understudied question about LLMs' semantic abilities is whether they acquire generalized knowledge of common events. Here, we test whether five pre-trained LLMs (from 2018's BERT to 2023's MPT) assign higher likelihood to plausible descriptions of agent-patient interactions than to minimally different implausible versions of the same event. Using three curated sets of minimal sentence pairs (total n=1,215), we found that pre-trained LLMs possess substantial event knowledge, outperforming other distributional language models. In particular, they almost always assign higher likelihood to possible vs. impossible events (The teacher bought the laptop vs. The laptop bought the teacher). However, LLMs show less consistent preferences for likely vs. unlikely events (The nanny tutored the boy vs. The boy tutored the nanny). In follow-up analyses, we show that (i) LLM scores are driven by both plausibility and surface-level sentence features, (ii) LLM scores generalize well across syntactic variants (active vs. passive constructions) but less well across semantic variants (synonymous sentences), (iii) some LLM errors mirror human judgment ambiguity, and (iv) sentence plausibility serves as an organizing dimension in internal LLM representations. Overall, our results show that important aspects of event knowledge naturally emerge from distributional linguistic patterns, but also highlight a gap between representations of possible/impossible and likely/unlikely events.

研究动机与目标

• 探究预训练大型语言模型（LLMs）是否在表面模式之外获得了对常见事件的泛化知识。
• 评估 LLM 对合理与不合理施事-受事互动的区分能力。
• 考察 LLM 在细微的合理性差异下，对可能事件与不太可能事件的区分程度。
• 分析句法与语义变化对 LLM 可能性判断的影响。
• 评估句子合理性是否在 LLM 的内部表征中起到组织作用。

提出的方法

• 研究在三个精选数据集上构建了 1,215 组最小句子对，仅在施事-受事角色上有所不同，以测试合理性。
• 评估五种预训练 LLM（从 BERT 到 MPT）对每组句子对的可能性得分。
• 将不可能事件（如：'笔记本电脑买了老师'）与合理事件（如：'老师买了笔记本电脑'）的可能性进行比较。
• 额外比较可能事件（如：'保姆辅导了男孩'）与不太可能事件（如：'男孩辅导了保姆'）的可能性。
• 分析表层特征（如词序、句法）与语义相似性，以隔离其对模型判断的影响。
• 通过探测内部表征，评估合理性是否在模型潜在空间中起到组织维度的作用。

实验结果

研究问题

• RQ1 大型语言模型是否对合理事件描述赋予比最小差异的不合理事件更高的可能性？
• RQ2 当合理性模糊时，LLM 对可能事件描述相较于不太可能事件描述的偏好是否具有一致性？
• RQ3 LLM 的可能性判断在多大程度上受表层句法或词汇特征的影响，而非语义合理性？
• RQ4 LLM 的可能性偏好在句法变体（如主动语态与被动语态）和语义变体（如同义句）之间是否具有良好的泛化能力？
• RQ5 句子合理性是否作为内部表征中结构化的组织维度编码在 LLM 的内部表示中？

主要发现

• LLM 在所有测试模型中均一致地为合理事件分配比不可能事件更高的可能性，表现出近乎普遍的偏好。
• LLM 对可能事件相较于不太可能事件的偏好显著不一致，表明其对‘不太可能’与‘不可能’事件的表征存在差距。
• LLM 的可能性得分同时受到合理性与表层句子特征（如词序、句法）的影响。
• 在句法变体（如主动语态与被动语态）之间，偏好泛化表现较强；但在语义变体（如同义句）之间，泛化能力较弱，表明对词汇形式具有敏感性。
• 部分模型错误与人类判断的模糊性一致，表明该困难并非完全源于模型局限，而是反映了真实的感知模糊性。
• 句子合理性作为有意义的组织维度存在于 LLM 的内部表征中，这一点通过聚类分析与降维分析得到证实。