[論文レビュー] Chain-of-History Reasoning for Temporal Knowledge Graph Forecasting

Yuwei Xia, Ding Wang+4 more|arXiv (Cornell University)|Feb 22, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、高次歴史的チェーンを段階的に体系的かつ順次に探索できるようにすることで、長期間にわたる複雑な履歴を扱う能力に制限を受ける大規模言語モデル（LLMs）の限界を克服し、時系列知識グラフ（TKG）予測の精度を向上させるためのチェーン・オブ・ホスティリィ（CoH）推論を提案する。CoHは、LLMの推論とグラフベースのモデルを統合するプラグアンドプレイ型モジュールとして設計されており、複数のデータセットおよびバックボーンで最先端の性能を達成している。

ABSTRACT

Temporal Knowledge Graph (TKG) forecasting aims to predict future facts based on given histories. Most recent graph-based models excel at capturing structural information within TKGs but lack semantic comprehension abilities. Nowadays, with the surge of LLMs, the LLM-based TKG prediction model has emerged. However, the existing LLM-based model exhibits three shortcomings: (1) It only focuses on the first-order history for prediction while ignoring high-order historical information, resulting in the provided information for LLMs being extremely limited. (2) LLMs struggle with optimal reasoning performance under heavy historical information loads. (3) For TKG prediction, the temporal reasoning capability of LLM alone is limited. To address the first two challenges, we propose Chain-of-History (CoH) reasoning which explores high-order histories step-by-step, achieving effective utilization of high-order historical information for LLMs on TKG prediction. To address the third issue, we design CoH as a plug-and-play module to enhance the performance of graph-based models for TKG prediction. Extensive experiments on three datasets and backbones demonstrate the effectiveness of CoH.

研究の動機と目的

• 既存のLLMベースのTKGモデルが一階の履歴にのみ依存しており、より豊富な高次時系列依存性を活用できないという制限を解消すること。
• 長期間にわたる履歴情報の負荷がLLMの性能を低下させるのを防ぐために、段階的かつ管理可能な形で推論を構造化すること。
• LLMの意味的推論の強みをモジュラーかつプラグアンドプレイ型のCoHモジュールを通じて統合することで、グラフベースのTKGモデルの性能を向上させること。
• GNNの構造的モデリングとLLMの意味理解能力を組み合わせることで、TKG予測における時系列推論を向上させること。

提案手法

• CoH推論は、高次歴史的チェーンを段階的に処理する：各ステップでLLMは、次第に長い履歴チェーン（例：一階、二階、…）を特定し、それらを推論する。
• 各ステップで、LLMはクエリ事実へ向かう最も関連性の高い履歴チェーンを推論するようプロンプトされ、認知的負荷を軽減し、情報過多を防ぐ。
• 最終的な予測は、最新に推論された高次チェーンのみに基づいて行われるため、焦点を的確に保ち、正確な推論が可能になる。
• CoHは、学習可能な重みパラメータを用いてLLMの予測とグラフベースのモデルの予測を統合する、プラグアンドプレイ型モジュールとして設計されている。
• 再訓練を避けるために、イン・コンテキスト学習とプロンプト工学を活用し、LLMに構造化された推論経路を導く。
• 事前知識を推論に活用するが、データリークを除外するようにフィルタリングすることで、成績の向上が記憶ではなく意味的理解によるものであることを保証する。

実験結果

リサーチクエスチョン

• RQ1 段階的かつチェーン・オブ・ホスティリィ推論により、高次歴史的依存性を効果的に活用することで、LLMベースのTKG予測精度が向上するか？
• RQ2 各推論ステップにおける文脈長を制限することで、長期間の履歴シーケンスを処理する際の性能低下が防げるか？
• RQ3 CoHが再訓練なしに、グラフベースのTKGモデルを効果的に強化できるプラグアンドプレイ型モジュールとして統合可能か？
• RQ4 CoHとグラフベースのモデルの予測の融合重みが、全体の性能に与える影響は何か？
• RQ5 事前知識がCoH推論に与える貢献度はどの程度で、データリークとは独立して成立するか？

主な発見

• CoHは、ICEWS14、ICEWS18、ICEWS05-15の各データセットでMRR性能を顕著に向上させ、単独のLLMおよびグラフベースのベースラインを上回った。
• LLM単体の性能は、履歴長が閾値を超えて増加すると低下する傾向を示しており、CoHのような構造化された推論の必要性を裏付けた。
• 最適な融合重み$w$は、CoHの予測をグラフベースのモデル出力よりもわずかに重視しており、CoHの補完的価値が強いことを示している。
• インデックス間のスコアギャップを制御するハイパーパrameter$\alpha$は性能にほとんど影響を与えず、ハイパーパrameterチューニングに対して頑健であることを示唆している。
• 感度分析により、$\alpha$および$w$の異なる値に対してもCoHの性能が安定しており、信頼性高く一貫した挙動を示していることが確認された。
• 事前知識の活用は推論を向上させるが、主な貢献はデータリークではなく、静的意味的知識によるものであることが判明した。