[论文解读] Chain-of-History Reasoning for Temporal Knowledge Graph Forecasting

Yuwei Xia, Ding Wang+4 more|arXiv (Cornell University)|Feb 22, 2024

Topic Modeling被引用 4

一句话总结

该论文提出链式历史（Chain-of-History, CoH）推理，通过使大型语言模型（LLMs）逐步、系统地探索高阶历史链，提升时间知识图谱（TKG）预测性能，克服了处理复杂、长上下文历史时的局限性。CoH 提升了基于 LLM 的 TKG 预测准确率，并被设计为即插即用模块，将 LLM 推理与基于图的模型融合，实现了在多个数据集和骨干网络上的最先进性能。

ABSTRACT

Temporal Knowledge Graph (TKG) forecasting aims to predict future facts based on given histories. Most recent graph-based models excel at capturing structural information within TKGs but lack semantic comprehension abilities. Nowadays, with the surge of LLMs, the LLM-based TKG prediction model has emerged. However, the existing LLM-based model exhibits three shortcomings: (1) It only focuses on the first-order history for prediction while ignoring high-order historical information, resulting in the provided information for LLMs being extremely limited. (2) LLMs struggle with optimal reasoning performance under heavy historical information loads. (3) For TKG prediction, the temporal reasoning capability of LLM alone is limited. To address the first two challenges, we propose Chain-of-History (CoH) reasoning which explores high-order histories step-by-step, achieving effective utilization of high-order historical information for LLMs on TKG prediction. To address the third issue, we design CoH as a plug-and-play module to enhance the performance of graph-based models for TKG prediction. Extensive experiments on three datasets and backbones demonstrate the effectiveness of CoH.

研究动机与目标

• 解决现有基于 LLM 的 TKG 模型仅依赖一阶历史、无法有效利用更丰富的高阶时间依赖关系的局限性。
• 通过分步、可管理的方式结构化推理，缓解 LLM 在处理大量历史信息时的性能下降问题。
• 通过模块化、即插即用的 CoH 模块，整合 LLM 的语义推理优势，增强基于图的 TKG 模型。
• 通过结合图神经网络（GNN）的结构建模能力与 LLM 的语义理解能力，提升 TKG 预测中的时间推理能力。

提出的方法

• CoH 推理逐步处理高阶历史链：在每一步中，LLM 识别并推理越来越长的历史链（例如，一阶、二阶等）。
• 在每一步中，LLM 被提示推断最相关的、通向查询事实的历史链，从而减轻认知负担并防止信息过载。
• 最终预测仅基于最近推断出的高阶历史链，确保推理聚焦且准确。
• CoH 被设计为即插即用模块，通过可学习的权重参数将 LLM 生成的预测与基于图的模型输出融合。
• 该方法避免了微调，转而利用上下文学习与提示工程，引导 LLM 沿结构化推理路径进行推理。
• 利用先验知识提升推理效果，但作者通过过滤机制防止数据泄露，确保性能提升源于语义理解而非记忆。

实验结果

研究问题

• RQ1 分步式、链式历史推理是否能通过有效利用高阶历史依赖关系，提升基于 LLM 的 TKG 预测性能？
• RQ2 限制每一步推理的上下文长度是否能防止在处理长历史序列时性能下降？
• RQ3 CoH 是否能作为即插即用模块有效集成到基于图的 TKG 模型中，而无需微调？
• RQ4 CoH 与基于图模型的预测之间的融合权重对整体性能有何影响？
• RQ5 先验知识在多大程度上促进 CoH 推理，且独立于数据泄露？

主要发现

• CoH 在 ICEWS14、ICEWS18 和 ICEWS05-15 数据集上显著提升了 MRR 性能，优于独立的 LLM 和基于图的基线模型。
• LLM 单独使用时，在历史长度超过阈值后性能显著下降，证实了采用 CoH 这类结构化推理的必要性。
• 最优融合权重 $w$ 稍微更倾向于 CoH 预测结果，表明 CoH 具有较强的互补价值。
• 控制索引间得分差距的超参数 $\alpha$ 对性能影响极小，表明模型对超参数调优具有鲁棒性。
• 敏感性分析表明，CoH 在不同 $\alpha$ 和 $w$ 值下性能稳定，表明其行为可靠且一致。
• 使用先验知识可提升推理效果，但主要收益源于静态语义知识，而非数据泄露。