[论文解读] EvEval: A Comprehensive Evaluation of Event Semantics for Large Language Models

Zhengwei Tao, Zhi Jin+5 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用 6

一句话总结

本文提出了 EvEval，一个包含 8 个数据集的综合性基准，用于评估大语言模型（LLMs）在事件语义处理方面的能力——包括理解、推理和预测。研究发现，尽管 LLMs 在因果和意图推理方面表现出色，并且在上下文增强下性能提升，但其在理解事件之间的语义相似性以及处理非因果关系方面的能力仍然有限，且结构化事件表示在事件处理任务中的表现与自然语言表示相当。

ABSTRACT

Events serve as fundamental units of occurrence within various contexts. The processing of event semantics in textual information forms the basis of numerous natural language processing (NLP) applications. Recent studies have begun leveraging large language models (LLMs) to address event semantic processing. However, the extent that LLMs can effectively tackle these challenges remains uncertain. Furthermore, the lack of a comprehensive evaluation framework for event semantic processing poses a significant challenge in evaluating these capabilities. In this paper, we propose an overarching framework for event semantic processing, encompassing understanding, reasoning, and prediction, along with their fine-grained aspects. To comprehensively evaluate the event semantic processing abilities of models, we introduce a novel benchmark called EVEVAL. We collect 8 datasets that cover all aspects of event semantic processing. Extensive experiments are conducted on EVEVAL, leading to several noteworthy findings based on the obtained results.

研究动机与目标

• 建立一个涵盖理解、推理和预测的事件语义处理的综合性分层框架。
• 解决缺乏统一评估基准以衡量 LLM 在事件语义处理方面能力的问题。
• 研究思维链（chain-of-thought）提示和不同事件表示对 LLM 在事件语义任务中表现的影响。
• 识别 LLM 在多个维度（如因果性、时间性、反事实和意图）上处理事件语义时的优势与劣势。
• 为未来语言模型在处理复杂事件级推理与预测方面提供可操作的改进建议。

提出的方法

• 提出一个三层次的事件语义处理框架：理解（事件内与事件间关系）、推理（因果性、时间性、反事实、意图）和预测（基于脚本和基于故事）。
• 构建 EvEval，一个包含 8 个多样化数据集的基准，涵盖事件语义处理的所有方面，包括细粒度的推理与预测任务。
• 集成两项额外的探测任务：思维链（CoT）提示和结构化事件表示评估，以研究推理机制。
• 在多个 LLM 上使用 EvEval 进行广泛实验，评估其在理解、推理和预测任务中的表现。
• 采用零样本和少样本提示策略，评估模型的泛化能力和推理保真度。
• 通过定性和定量分析评估模型行为，包括 CoT 中的置信度校准和知识利用情况。

实验结果

研究问题

• RQ1 大语言模型在理解事件之间语义相似性和关系方面表现如何？
• RQ2 思维链提示在多大程度上能提升事件语义任务中的推理能力？
• RQ3 结构化事件表示能否在事件处理中达到与自然语言表示相当的性能？
• RQ4 上下文信息在多大程度上影响 LLM 对未来事件的预测能力？
• RQ5 事件知识、上下文和模式在增强基于 CoT 的事件语义推理中起到什么作用？

主要发现

• 尽管 LLM 在理解单个事件方面表现出色，但其在感知事件之间语义相似性方面的能力明显受限。
• LLM 在因果和意图关系推理方面表现出强大的能力，但在时间性与反事实等其他关系类型上的表现显著下降。
• 随着上下文信息的增加，对未来的预测性能显著提升，尤其在基于故事的预测任务中更为明显。
• 有效利用事件知识、上下文和序列模式对于提升事件语义处理中基于 CoT 的推理能力至关重要。
• 结构化事件表示在事件处理中的表现与自然语言表示相当，表明其在高效且可解释建模方面具有潜力。
• LLM 在预测中表现出高度自信，但往往与原文内容缺乏保真度，表明在事件推理任务中存在幻觉风险。