[論文レビュー] Temporal Knowledge Graph Completion with Time-sensitive Relations in Hypercomplex Space

Li Cai, Xin Mao+5 more|arXiv (Cornell University)|Mar 2, 2024

Cognitive Computing and Networks被引用数 4

ひとこと要約

本論文は、時間に敏感な関係を時間に配慮した回転と周期的時間変換を通じて捉えるために、超複素空間におけるクォータニオン埋め込みを活用する、TQuatEと呼ばれる新しい時系列知識グラフ補完モデルを提案する。動的関係パターンを優れた表現能力でモデル化することで、ICEWS14、ICEWS05-15、GDELTデータセットにおいて最先端の性能を達成し、複雑な時間的変動を扱う能力で既存手法を上回る。

ABSTRACT

Temporal knowledge graph completion (TKGC) aims to fill in missing facts within a given temporal knowledge graph at a specific time. Existing methods, operating in real or complex spaces, have demonstrated promising performance in this task. This paper advances beyond conventional approaches by introducing more expressive quaternion representations for TKGC within hypercomplex space. Unlike existing quaternion-based methods, our study focuses on capturing time-sensitive relations rather than time-aware entities. Specifically, we model time-sensitive relations through time-aware rotation and periodic time translation, effectively capturing complex temporal variability. Furthermore, we theoretically demonstrate our method's capability to model symmetric, asymmetric, inverse, compositional, and evolutionary relation patterns. Comprehensive experiments on public datasets validate that our proposed approach achieves state-of-the-art performance in the field of TKGC.

研究の動機と目的

• 既存のTKGC手法が、静的または時間に配慮したエンティティを超えた動的で時間変動する関係をモデル化する能力に限界を示しているのを是正すること。
• 特にクォータニオンを用いた、超複素空間のより豊かな構造を活用することで、時間的関係の表現能力を向上させること。
• クォータニオン空間における幾何学的演算を通じて、関係の対称性、非対称性、逆関係、合成、進化といった複雑な時間的パターンをモデル化すること。
• 固定されたハイパーパrameter依存の時間ウィンドウに依存しないようにするために、周期的時間変換を導入し、より頑健な時間的モデリングを実現すること。
• 多様な関係パターンをモデル化する理論的裏付けを提供しつつ、標準的なTKGCベンチマークで最先端の性能を達成すること。

提案手法

• エンティティ、関係、タイムスタンプの各埋め込みにクォータニオン表現を用い、各埋め込みは1つの実部と3つの虚部から構成される。
• 時間に配慮した回転は、クォータニオンのハミルトン積を用いて実装され、エンティティと関係間の局所的時間的相互作用を捉える。
• 周期的時間変換が導入され、時間ウィンドウ内での繰り返し現象をモデル化する。これにより、ハイパーパrameter依存の固定時間ウィンドウの必要性が排除される。
• 超複素空間における回転と平行移動を適用することで、関係表現に時間的ダイナミクスを統合し、動的関係の進化を可能にする。
• 理論的分析により、モデルが対称的、非対称的、逆関係的、合成的、進化的な関係パターンを表現可能であることが確認された。
• 埋め込みと時間の正則化項を含む統合損失関数を用いてモデルを最適化し、ハイパーパrameterはアブレーションスタディにより調整された。

Figure 1: Subgraph example from ICEWS14 dataset for TKGC. Nodes on the graph represent entities, including Obama, Japan, South Korea, North Korea, and edges signify relations (with timestamps in parentheses), encompassing Host a visit, Make a visit, Express intent to meet or negotiate, Engage in neg

実験結果

リサーチクエスチョン

• RQ1 超複素空間におけるクォータニオン表現は、実数または複素数空間の手法と比較して、時間に敏感な関係をより良くモデル化できるか？
• RQ2 時間に配慮した回転と周期的時間変換は、動的知識グラフにおける局所的および繰り返し現れる時間的パターンをどれほど効果的に捉えることができるか？
• RQ3 本手法は、ICEWS14、ICEWS05-15、GDELTのように複雑性の異なる多様な時間的データセットに一般化可能か？
• RQ4 固定時間ウィンドウの必要性を排除することで、モデルの頑健性と性能がどの程度向上するか？
• RQ5 モデルの理論的表現能力は、対称性、逆関係、合成といった基本的な関係パターンをどの程度正確に表現できるか？

主な発見

• TQuatEはICEWS14で最先端の性能を達成し、MRRが0.639、Hits@10が0.787と、以前の最先端モデルを上回った。
• アブレーションスタディにより、周期的時間モデリングが性能向上に顕著に寄与することが確認され、除外した場合MRRは0.629に低下した。
• 最適な埋め込み次元は2000であり、それ以上に増加させても効果は薄れる傾向にあった。
• 最良の正則化係数はλₑ ≈ 0.005およびλₜ ≈ 0.1と特定され、時間正則化の影響がより強いことが示された。
• 計算コストはTeASTより高かった（2011s対1487s）が、MRRはわずかに向上（0.639対0.637）し、効果性が裏付けられた。
• TQuatEはTeASTと同等のパラメータ数を有しながらも、クォータニオンによる時間的ダイナミクスの表現能力の向上により、優れた性能を発揮した。

Figure 2: TKGC performance for different embedding dimensions $d$ on ICEWS14.