[论文解读] Large Language Models Can Learn Temporal Reasoning

Siheng Xiong, Ali Payani+2 more|arXiv (Cornell University)|Jan 12, 2024

Topic Modeling被引用 4

一句话总结

本文提出 TempGraph-LLM，一种新颖的框架，通过先将文本转化为结构化的时序图，再利用思维链自举和数据增强进行符号推理，从而提升大语言模型（LLMs）的时序推理能力。该方法在时序问答基准测试中达到最先进性能，使用 Llama2-13B 时精确匹配得分为 79.5%，表明图结构推理与符号集成可显著提升自由文本推理的准确性和一致性。

ABSTRACT

While large language models (LLMs) have demonstrated remarkable reasoning capabilities, they are not without their flaws and inaccuracies. Recent studies have introduced various methods to mitigate these limitations. Temporal reasoning (TR), in particular, presents a significant challenge for LLMs due to its reliance on diverse temporal concepts and intricate temporal logic. In this paper, we propose TG-LLM, a novel framework towards language-based TR. Instead of reasoning over the original context, we adopt a latent representation, temporal graph (TG) that enhances the learning of TR. A synthetic dataset (TGQA), which is fully controllable and requires minimal supervision, is constructed for fine-tuning LLMs on this text-to-TG translation task. We confirmed in experiments that the capability of TG translation learned on our dataset can be transferred to other TR tasks and benchmarks. On top of that, we teach LLM to perform deliberate reasoning over the TGs via Chain-of-Thought (CoT) bootstrapping and graph data augmentation. We observed that those strategies, which maintain a balance between usefulness and diversity, bring more reliable CoTs and final results than the vanilla CoT distillation.

研究动机与目标

• 为解决现有 LLM 在执行可靠时序推理方面存在的局限性，而时序推理需要整合时间、逻辑与常识知识。
• 开发一种框架，通过结构化时序图显式建模时序关系，提升推理准确性，超越自由文本思维链提示方法。
• 创建一个完全可控、最小监督的合成数据集，用于预训练 LLM 进行文本到时序图对齐。
• 通过自举推理步骤和数据增强，将符号推理与 LLM 集成，以提升复杂时序任务中的可靠性与性能。

提出的方法

• 该框架首先使用基于规则的流水线将自然语言故事转化为时序图，事件通过时序关系（开始/结束时间、持续时间、顺序）连接。
• 利用 YAGO11k 上的模板构建合成数据集 TempGraph QA，生成具有高度控制性与最小监督的（故事，时序图，问题，答案）样本对。
• 在该合成数据集上对模型进行预训练，以提升时序图抽取能力，从而实现向下游任务的迁移。
• 通过思维链自举引导符号推理，为监督微调生成可靠的中间推理步骤。
• 提出两种数据增强策略，以缓解神经符号推理任务中的数据稀缺问题。
• 在推理过程中整合外部知识（数学与常识），以增强推理能力。

Figure 1: Our TempGraph-LLM framework has two steps: text-to-tempgraph translation and neuro-symbolic reasoning.

实验结果

研究问题

• RQ1 大语言模型能否在最小监督下有效训练以从自然语言文本中提取结构化时序图？
• RQ2 与自由文本思维链提示相比，采用结构化中间步骤的符号推理是否能提升 LLM 在时序推理中的可靠性与准确性？
• RQ3 在合成的、完全可控的时序问答数据集上进行预训练，在下游时序推理任务中对零样本或少样本性能的提升程度如何？
• RQ4 数据增强与外部知识集成对 LLM 在复杂神经符号推理任务中性能的影响如何？
• RQ5 基于图的神经符号框架是否能在多样化的时序推理基准上实现泛化，并优于标准提示与微调方法？

主要发现

• 使用 Llama2-13B 时，TempGraph-LLM 框架在 TempGraph QA 基准测试中达到 79.5% 的精确匹配得分，比基线微调模型高出 14.9 个百分点。
• 结合自举思维链步骤的符号推理使性能比自由文本 CoT 提升 5.9 个百分点，表明其具有更高的稳定性和可靠性。
• 当与符号推理结合时，数据增强使性能提升 4.0 个百分点（从 75.3% 提升至 79.7% EM），凸显其在低资源场景中的重要性。
• 在合成 TempGraph QA 数据集上进行预训练可良好迁移到其他任务，表明时序图学习具有超越训练分布的泛化能力。
• 当与符号推理结合时，外部知识（数学与常识）的集成使性能提升 2.1 个百分点（从 75.3% 提升至 77.6% EM）。
• 消融实验确认，时序图表示与符号推理均至关重要：移除任一组件均导致性能显著下降。

Figure 2: Performance comparison between different strategies of CoT generation on TempGraph QA.