[論文レビュー] Temporal Knowledge Graph Completion: A Survey

Borui Cai, Yong Xiang+4 more|arXiv (Cornell University)|Jan 16, 2022

Advanced Graph Neural Networks被引用数 11

ひとこと要約

本論文は、時系列知識グラフ補完（TKGC）の最初の包括的サーベイを提示し、動的知識グラフの進化をモデル化するためのタイムスタンプ統合戦略に基づいて、既存の手法を分類している。ベンチマークデータセット、評価プロトコル、および主な課題と今後の方向性（外部知識統合、時系列に配慮したネガティブサンプリング、スケーラビリティ、進化するグラフのための継続的学習）をレビューしている。

ABSTRACT

Knowledge graph completion (KGC) can predict missing links and is crucial for real-world knowledge graphs, which widely suffer from incompleteness. KGC methods assume a knowledge graph is static, but that may lead to inaccurate prediction results because many facts in the knowledge graphs change over time. Recently, emerging methods have shown improved predictive results by further incorporating the timestamps of facts; namely, temporal knowledge graph completion (TKGC). With this temporal information, TKGC methods can learn the dynamic evolution of the knowledge graph that KGC methods fail to capture. In this paper, for the first time, we summarize the recent advances in TKGC research. First, we detail the background of TKGC, including the problem definition, benchmark datasets, and evaluation metrics. Then, we summarize existing TKGC methods based on how timestamps of facts are used to capture the temporal dynamics. Finally, we conclude the paper and present future research directions of TKGC.

研究の動機と目的

• タイムスタンプ統合戦略に基づいてTKGC手法の体系的分類を提供すること。
• TKGC研究で用いられるベンチマークデータセットおよび標準評価プロトコルを要約すること。
• 現在のTKGCアプローチの限界、特にデータスパarsity、不均衡、スケーラビリティに関する問題を特定すること。
• 今後の研究方向性を提案すること、特に外部知識統合、時系列に配慮したネガティブサンプリング、進化するグラフのための継続的学習。

提案手法

• タイムスタンプの統合方法に基づき、TKGC手法を4つのグループに分類：時系列埋め込み、動的相互作用、メモリ拡張、生成モデル化。
• TKGCの統一された問題定義を提案し、事実を（頭部、関係、目的語、タイムスタンプ）のタプルとしてモデル化。
• TKGCの学習で一般的に用いられる損失関数（マージンランク損失、交差エントロピー損失など）をレビュー。
• ネガティブサンプリング戦略を分析し、表現学習の向上に向けた時系列に配慮した破壊（corruption）の重要性を強調。
• 事前学習済み言語モデルを用いてエンティティおよび関係の意味を豊かにし、一般化性能の向上を図る。
• 経験再現や知識蒸留などのアーキテクチャ的イノベーションを議論し、段階的学習環境における深刻な忘却の緩和を図る。

実験結果

リサーチクエスチョン

• RQ1 既存のTKGC手法は、タイムスタンプを用いた時間的ダイナミクスのモデル化において、どのように異なるか？
• RQ2 TKGC研究で標準的に用いられるベンチマークデータセットと評価指標は何か？
• RQ3 現在のTKGC手法の主な限界、特にデータの不均衡とスケーラビリティに関する問題は何か？
• RQ4 外部知識および事前学習済み言語モデルは、TKGCのパフォーマンスをどのように向上させうるか？
• RQ5 進化する時系列知識グラフにおける効率的かつ継続的な学習を可能にする戦略は何か？

主な発見

• TKGC手法は、特に時間に依存する事実の予測において、時間的ダイナミクスを捉えることで、静的KGC手法を一貫して上回っている。
• GDELTデータセットはエンティティおよび関係の長尾分布のため、モデルの一般化を制限する大きな課題を呈している。
• 時系列に配慮したネガティブサンプリングは未だ十分に検討されていないが、モデルの識別性能向上および勾配消失の回避において極めて重要である。
• 現在のモデルは計算コストが高く、10億規模の知識グラフには現実的でないため、分散型かつ効率的な学習フレームワークの開発が不可欠である。
• 合成埋め込みとパラメータ共有を用いることで、性能を損なわずにモデルサイズを削減し、スケーラビリティを向上させることができる。
• 経験再現や知識蒸留といった継続的学習技術は、段階的なグラフ更新における深刻な忘却の緩和に有望である。