[论文解读] An Overview Of Temporal Commonsense Reasoning and Acquisition

Georg Wenzel, Adam Jatowt|arXiv (Cornell University)|Jul 28, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文对自然语言处理中的时间常识推理（TCS）进行了全面综述，探讨了尽管大型语言模型（LLMs）在表面任务上表现优异，但在隐式时间推理方面仍存在困难。文章回顾了通过数据增强、知识图谱集成和符号推理注入来提升TCS能力的方法，强调了由于浅层推理和语言偏见导致的模型与人类表现之间的持续差距。

ABSTRACT

Temporal commonsense reasoning refers to the ability to understand the typical temporal context of phrases, actions, and events, and use it to reason over problems requiring such knowledge. This trait is essential in temporal natural language processing tasks, with possible applications such as timeline summarization, temporal question answering, and temporal natural language inference. Recent research on the performance of large language models suggests that, although they are adept at generating syntactically correct sentences and solving classification tasks, they often take shortcuts in their reasoning and fall prey to simple linguistic traps. This article provides an overview of research in the domain of temporal commonsense reasoning, particularly focusing on enhancing language model performance through a variety of augmentations and their evaluation across a growing number of datasets. However, these augmented models still struggle to approach human performance on reasoning tasks over temporal common sense properties, such as the typical occurrence times, orderings, or durations of events. We further emphasize the need for careful interpretation of research to guard against overpromising evaluation results in light of the shallow reasoning present in transformers. This can be achieved by appropriately preparing datasets and suitable evaluation metrics.

研究动机与目标

• 分析自然语言处理中时间常识推理（TCS）的现状，重点关注事件顺序、持续时间及典型发生时间的推理。
• 探究尽管最先进的语言模型在分类和生成任务上表现优异，却在深层时间推理上失败的原因，包括捷径学习和语言偏见。
• 评估数据增强、知识图谱集成（如ATOMIC²⁰、ASER）以及符号推理技术在提升TCS能力方面的有效性。
• 识别模型与人类在TCS任务上的持续性能差距，尤其是在鲁棒评估指标下的表现。
• 倡导谨慎的数据集构建与评估设计，以避免过度承诺模型能力，并引导未来研究朝向更鲁棒的推理方向发展。

提出的方法

• 调研现有的TCS基准、数据集和知识图谱（如ATOMIC²⁰、COMET、ASER、ConceptNet），以识别核心TCS维度。
• 使用显式和隐式时间信号，在TCS任务上评估基于Transformer的模型（如BERT、RoBERTa、GPT-4）以及专门的时间模型（如TempoBERT、BiTimeBERT）。
• 通过众包、基于规则的网络抽取以及知识图谱蒸馏等方式实施数据增强，以提升训练数据的质量与覆盖范围。
• 将符号推理（如概率软逻辑）与神经网络模型结合，显式编码时间关系，如持续时间、先后顺序和频率。
• 采用集成方法和架构改进（如时间注意力机制、文档创建时间注入）以增强语言模型中的时间推理能力。
• 使用超越准确率的鲁棒评估指标，以检测模式识别和偏见利用行为，特别是在对抗性或分布外设置下。

Figure 1: Temporal reasoning and commonsense reasoning both encapsulate TCS reasoning, but also contain many other tasks

实验结果

研究问题

• RQ1 为何大型语言模型尽管在标准基准上表现优异，却在泛化时间常识推理方面失败？
• RQ2 知识图谱（如ATOMIC²⁰、ASER）和数据增强在多大程度上能提升语言模型的时间推理能力？
• RQ3 符号推理技术与混合神经符号方法在增强模型对TCS中语言陷阱鲁棒性方面的有效性如何？
• RQ4 训练目标、数据质量与超参数在不同Transformer变体中对TCS性能的影响是什么？
• RQ5 当前的评估协议为何无法检测到浅层推理？哪些指标能更真实地反映真正的时间理解？

主要发现

• 尽管在标准NLP任务上表现优异，LLMs通常依赖语言模式和偏见而非真正的时序推理，导致在隐式时间关系上产生错误推断。
• 在ATOMIC²⁰和ASER等知识图谱上微调的模型在事件排序和时间推理任务上表现有所提升，但仍远未达到人类水平的推理能力。
• 符号推理的集成——尤其是通过概率软逻辑或神经符号集成——相比仅使用辅助目标的端到端训练，能产生更鲁棒且可解释的TCS预测结果。
• 通过众包和弱监督进行的数据增强显著提升了罕见时间关系的覆盖范围，但性能提升受限于标注质量与分布偏见。
• 即使GPT-4在某些推理任务上表现强劲，其结构仍不透明且无法本地部署，限制了其在特定TCS研究中的实用性。
• 鲁棒评估指标揭示，模型经常通过猜测或模式匹配而非真正理解时间持续、顺序或频率来得出正确答案。

Figure 2: The distribution of publication dates in the surveyed core literature