[論文レビュー] TeRo: A Time-aware Knowledge Graph Embedding via Temporal Rotation

Chengjin Xu, Mojtaba Nayyeri+3 more|arXiv (Cornell University)|Oct 2, 2020

Advanced Graph Neural Networks参考文献 26被引用数 10

ひとこと要約

TeRoは、複素ベクトル空間における回転を用いて時間的変化をモデル化する時刻対応知識グラフ埋め込みモデルを提案する。時間間隔を含む関係には二重複素埋め込みを用いる。TeRoは4つのTKGにおけるリンク予測において、最先端のモデルを著しく上回り、時間の粒度が時間的推論において重要であることを示している。

ABSTRACT

In the last few years, there has been a surge of interest in learning representations of entitiesand relations in knowledge graph (KG). However, the recent availability of temporal knowledgegraphs (TKGs) that contain time information for each fact created the need for reasoning overtime in such TKGs. In this regard, we present a new approach of TKG embedding, TeRo, which defines the temporal evolution of entity embedding as a rotation from the initial time to the currenttime in the complex vector space. Specially, for facts involving time intervals, each relation isrepresented as a pair of dual complex embeddings to handle the beginning and the end of therelation, respectively. We show our proposed model overcomes the limitations of the existing KG embedding models and TKG embedding models and has the ability of learning and inferringvarious relation patterns over time. Experimental results on four different TKGs show that TeRo significantly outperforms existing state-of-the-art models for link prediction. In addition, we analyze the effect of time granularity on link prediction over TKGs, which as far as we know hasnot been investigated in previous literature.

研究の動機と目的

• 既存の知識グラフ埋め込みモデルが時間的ダイナミクスを扱う際の限界を解消すること。
• 時間的知識グラフ（TKG）における多様な時間的関係パターンの学習と推論が可能なモデルの開発。
• 時間の粒度がTKGにおけるリンク予測性能に与える影響を調査すること。これは、先行研究では未検討であった要因である。
• データセットサイズを著しく拡大せずに、時間間隔を二重複素埋め込みで効率的に表現すること。

提案手法

• TeRoは、初期時刻から現在時刻へのエンティティ埋め込みの回転を複素ベクトル空間でモデル化することで、時間的変化を表現する。
• 各関係は、開始時刻用（rb）と終了時刻用（re）の二重複素埋め込みのペアとして表現され、時間間隔のモデル化を可能にする。
• モデルは複素数値のベクトルを用い、回転が時間的遷移を符号化することで、自己関係、1-n関係など多様な複雑な関係パターンを表現可能にする。
• 時間の粒度は各データセットごとに最適化される（例：ICEWS14では183ステップ、Wikidata12kでは82ステップ）。時間点と時間間隔は一貫して処理される。
• 時間間隔を複数の時刻点に分解するのではなく、二つの四元組（s, rb, o, tb）と（s, re, o, te）を用いることで、データ拡張を回避する。
• リンク予測は、複素数平面における回転公式を用いて四元組（s, r, o, t）のスコアを計算する：r × s ≈ o、ここでrは複素平面における回転を表す。

実験結果

リサーチクエスチョン

• RQ1 時間の粒度は、リンク予測における時間的知識グラフ埋め込みモデルの性能にどのように影響するか？
• RQ2 複素ベクトル空間における回転に基づくモデルは、一時的関係や自己関係を含む多様な時間的関係パターンを効果的に捉え、推論できるか？
• RQ3 異なる時間アノテーション形式を持つ多様なTKGにおいて、TeRoは最先端のKGEおよびTKGEモデルと比較して、リンク予測でどのように性能を発揮するか？
• RQ4 関係の開始時刻と終了時刻のための二重複素埋め込みは、時間間隔の事実におけるモデル化の効率性と性能を向上させることができるか？

主な発見

• TeRoは、ICEWS14、ICEWS05-15、YAGO11k、Wikidata12kの4つのTKGにおいて、すべてのベースラインモデル、包括して最先端のKGEおよびTKGEモデルを著しく上回るリンク予測性能を達成した。
• ICEWS14では、TeRoはHits@10スコアで0.827を達成し、次に優れたモデル（ATiSE）を5ポイント以上上回った。
• モデルの性能は時間の粒度に強く依存する：u=365（1年）を用いた場合、'Host a visit'のような一時的関係に対して誤った予測が行われたが、u=1（日単位）またはu=30（月単位）を用いた場合、正しい結果が得られた。
• 時間間隔の処理において、TeRoの二重埋め込みアプローチはデータ拡張を回避し、データセットサイズが2倍未満に抑えられた。一方、HyTE や ATiSE などのベースライン手法は、8〜15倍の拡大を示した。
• 埋め込み差の可視化では、短期間関係（例：'deadIn'）はrbとreの実部と虚部が非常に類似しており、長期関係（例：'isMarriedTo'）は時間的変化を捉えるために虚部に顕著な差が見られた。
• TeRoの学習時間は効率的であった：ICEWS14では1エポックあたり4.3秒、YAGO11kでは1.9秒（500次元埋め込み）。また、ATiSE や DE-SimplE といった最先端モデルと比較して、メモリ使用量は1.8〜2.2倍に留まった。