[论文解读] MenatQA: A New Dataset for Testing the Temporal Comprehension and Reasoning Abilities of Large Language Models

Yifan Wei, Yisong Su+6 more|arXiv (Cornell University)|Oct 8, 2023

Topic Modeling被引用 4

一句话总结

MenatQA 是一个新构建的基准数据集，包含 2,853 个样本，旨在评估大语言模型（LLMs）在三个因素上的时间理解与推理能力：范围、顺序和反事实推理。研究发现，大多数 LLM 在时间偏见和模糊的时间线索下表现不佳，尤其在这些情况下，其时间推理能力远逊于小型专用模型，凸显了 LLM 在时间推理方面存在的关键缺陷，而这些缺陷可通过针对性提示工程和工具集成得到部分缓解。

ABSTRACT

Large language models (LLMs) have shown nearly saturated performance on many natural language processing (NLP) tasks. As a result, it is natural for people to believe that LLMs have also mastered abilities such as time understanding and reasoning. However, research on the temporal sensitivity of LLMs has been insufficiently emphasized. To fill this gap, this paper constructs Multiple Sensitive Factors Time QA (MenatQA), which encompasses three temporal factors (scope factor, order factor, counterfactual factor) with total 2,853 samples for evaluating the time comprehension and reasoning abilities of LLMs. This paper tests current mainstream LLMs with different parameter sizes, ranging from billions to hundreds of billions. The results show most LLMs fall behind smaller temporal reasoning models with different degree on these factors. In specific, LLMs show a significant vulnerability to temporal biases and depend heavily on the temporal information provided in questions. Furthermore, this paper undertakes a preliminary investigation into potential improvement strategies by devising specific prompts and leveraging external tools. These approaches serve as valuable baselines or references for future research endeavors.

研究动机与目标

• 为解决大语言模型（LLMs）在时间推理方面研究不足的问题，特别是其对时间相关因素的敏感性。
• 构建一个全面的基准数据集，涵盖先前工作中被忽视的多种时间推理因素。
• 在受控且多样的时间条件下，评估当前主流 LLM 在时间理解与推理任务上的表现。
• 探究实用的改进策略，如专用提示工程和工具学习，以增强 LLM 的时间推理能力。
• 为未来 LLM 时间推理研究提供标准化的评估框架和基线解决方案。

提出的方法

• MenatQA 数据集包含 2,853 个样本，其中 1,448 个用于范围因素，857 个用于顺序因素，548 个用于反事实因素，每类均测试不同的时间推理挑战。
• 范围因素评估模型在问题与上下文之间存在不一致时间引用时的推理能力，要求进行时间区间推理。
• 顺序因素测试模型在事件序列被打乱后的时间推理能力，评估其从隐含线索中重建时间顺序的能力。
• 反事实因素评估模型对假设性时间情景的推理能力，例如事件时间线被改变或未来条件句的情境。
• 数据集包含无法回答的问题，以惩罚幻觉输出，确保实现真正的时间理解。
• 改进策略包括设计特定提示（如范围提示、重排序提示、反事实提示）以及集成时间比较工具以引导推理过程。

实验结果

研究问题

• RQ1 主流 LLM 在处理问题与上下文之间存在时间引用不一致的情况（范围因素）时表现如何？
• RQ2 当事件序列被打乱时，LLM 能在多大程度上重建正确的时间顺序（顺序因素）？
• RQ3 LLM 是否能在缺乏显式时间依据的情况下，有效推理假设性或反事实时间情景（反事实因素）？
• RQ4 模型参数量和架构在不同时间因素下如何影响时间推理性能？
• RQ5 哪些提示工程和工具集成策略在提升 LLM 时间推理能力方面最为有效？

主要发现

• 大多数 LLM，包括 GPT-3.5-turbo 和 OPT-175B，在所有三个时间因素上的表现均逊于更小但专门化的时间推理模型（如 BigBird 和 FiD）。
• LLM 对时间偏见表现出显著脆弱性，并且在问题中缺乏显式时间线索时依赖程度较高，尤其在范围因素下表现更差。
• 当使用时间比较工具时，范围因素的性能从 39.08% 下降至 37.78%，表明工具集成的效用有限，原因在于对反馈的误读。
• 更大的参数量可提升时间推理能力，但即使最大规模的模型（如 175B 参数模型）也未能达到更小、任务特定模型的水平。
• 基于提示的方法，特别是范围提示和反事实提示，显示出可测量的性能提升，表明针对性提示可部分缓解时间推理缺陷。
• MenatQA 中包含无法回答的问题有效减少了幻觉现象，从而实现了对真实时间理解更可靠的评估。