[論文レビュー] Temporal Knowledge Graph Embedding Model based on Additive Time Series Decomposition

Chengjin Xu, Mojtaba Nayyeri+3 more|arXiv (Cornell University)|Nov 18, 2019

Advanced Graph Neural Networks参考文献 32被引用数 37

ひとこと要約

ATiSEはエンティティとリレーションの時系列進化を加法的時間系列として表現し、不確実性をガウス分布で捕捉することで、4つの時系列知識グラフでリンク予測の最先端を達成します。

ABSTRACT

Knowledge Graph (KG) embedding has attracted more attention in recent years. Most KG embedding models learn from time-unaware triples. However, the inclusion of temporal information beside triples would further improve the performance of a KGE model. In this regard, we propose ATiSE, a temporal KG embedding model which incorporates time information into entity/relation representations by using Additive Time Series decomposition. Moreover, considering the temporal uncertainty during the evolution of entity/relation representations over time, we map the representations of temporal KGs into the space of multi-dimensional Gaussian distributions. The mean of each entity/relation embedding at a time step shows the current expected position, whereas its covariance (which is temporally stationary) represents its temporal uncertainty. Experimental results show that ATiSE chieves the state-of-the-art on link prediction over four temporal KGs.

研究の動機と目的

• 知識グラフ埋め込みに時系列情報を組み込み、時系列知識グラフのリンク予測を改善する。
• エンティティとリレーション表現の進化を加法的時間系列成分（トレンド、季節性、ランダム）でモデル化する。
• 時刻で進化する埋め込みをガウス分布として表し、時系列の不確実性を捕捉する。
• 対角共分散とKL発散ベースのスコアリングを用いて効率的な学習を実現する。
• 複数データセットで最先端の TKGE および静的 KGE ベースラインに対して実証的な改善を示す。

提案手法

• 各エンティティとリレーションを加法的時間系列で時変埋め込みとして表現: e_i,t = e_i + alpha_e,i w_e,i t + beta_e,i sin(2 pi omega_e,i t) + N(0, Sigma_e,i) 及び r_p,t も同様。
• 時間と共に平均埋め込みを線形トレンドと季節成分、ガウスノイズでモデル化。対角共分散行列を用いて時系列的不確実性を符号化。
• 時刻 t における事実を変換されたエンティティ分布 P_s,t - P_o,t およびリレーション分布 P_r,t として表し、対称的KL発散に基づくスコアリング f_t(e_s, r_p, e_o) = 0.5*(KL(P_r,t || P_e,t) + KL(P_e,t || P_r,t))。
• 埋め込みノルムと共分散を制約 (||e_i||_2 = 1, ||r_p||_2 = 1; c_min I <= Sigma_l <= c_max I) により安定性と正定共分散を保証。
• ネガティブサンプリングと自己対向学習を用いたネガティブサンプリング損失、及び共分散の正規化で学習。

実験結果

リサーチクエスチョン

• RQ1 時系列情報を知識グラフ埋め込みに組み込み、時刻変化する事実を区別するにはどうすればよいか。
• RQ2 加法的時間系列分解とガウシアン不確実性は、既存のTKGE手法と比べて時系列KGEにおけるリンク予測を改善できるか。
• RQ3 埋め込み次元と時系列成分が複数のTKGEデータセットにおける予測性能に与える影響は何か。
• RQ4 ATiSEは静的KGEや他のTKGEモデルと比べて計算上のトレードオフ（空間/時間）はどうか？

主な発見

Model	MRR	Hits@1	Hits@3	Hits@10
ICEWS14 TransE	0.280	0.094	-	-
ICEWS14 DistMult	0.439	0.323	-	-
ICEWS14 ComplEx-N3	0.467	0.347	0.527	0.716
ICEWS14 RotatE	0.418	0.291	0.478	0.690
ICEWS14 QuatE 2	0.471	0.353	0.530	0.712
ICEWS14 TTransE	0.255	0.074	-	-
ICEWS14 HyTE	0.297	0.108	0.416	0.655
ICEWS14 TA-TransE	0.275	0.095	-	-
ICEWS14 TA-DistMult	0.477	0.363	-	-
ICEWS14 DE-SimplE	0.526	0.418	0.592	0.725
ICEWS14 ATiSE	0.550	0.436	0.629	0.750
ICEWS05-15 TransE	0.637	0.294	0.090	-
ICEWS05-15 DistMult	0.456	0.337	-	-
ICEWS05-15 ComplEx-N3	0.481	0.362	0.535	0.729
ICEWS05-15 RotatE	0.304	0.164	0.355	0.595
ICEWS05-15 QuatE 2	0.482	0.370	0.529	0.727
ICEWS05-15 TTransE	0.271	0.084	-	-
ICEWS05-15 HyTE	0.316	0.116	0.445	0.681
ICEWS05-15 TA-TransE	0.299	0.096	-	-
ICEWS05-15 TA-DistMult	0.474	0.346	-	-
ICEWS05-15 DE-SimplE	0.513	0.392	0.578	0.748
ICEWS05-15 ATiSE	0.519	0.378	0.606	0.794
YAGO11k TransE	0.178	0.100	0.138	0.244
YAGO11k DistMult	0.222	0.119	0.238	0.460
YAGO11k ComplEx-N3	0.233	0.123	0.253	0.436
YAGO11k RotatE	0.221	0.116	0.236	0.461
YAGO11k QuatE 2	0.230	0.125	0.243	0.416
YAGO11k TTransE	0.172	0.096	0.184	0.329
YAGO11k HyTE	0.180	0.098	0.197	0.333
YAGO11k ATiSE	0.280	0.175	0.317	0.481
Wikidata12k TransE	0.178	0.100	0.192	0.339
Wikidata12k DistMult	0.222	0.119	0.238	0.460
Wikidata12k ComplEx-N3	0.233	0.123	0.253	0.436
Wikidata12k RotatE	0.221	0.116	0.236	0.461
Wikidata12k QuatE 2	0.230	0.125	0.243	0.416
Wikidata12k TTransE	0.172	0.096	0.184	0.329
Wikidata12k HyTE	0.180	0.098	0.197	0.333
Wikidata12k ATiSE	0.280	0.175	0.317	0.481

• ATiSEは四つの時系列KGデータセットにおいてリンク予測で最先端TKGEモデルおよびいくつかの静的KGEモデルを上回る。
• ICEWS14とICEWS05-15で、ATiSEは競合他社の中で最良のMRRとHits@10を達成。例えば、Table 4においてICEWS14のMRRは0.550、ICEWS05-15は0.519、Hits@10はそれぞれ0.750と0.794。
• YAGO11kとWikidata12kでは、ATiSEは最良またはほぼ最良のMRRとHits@1/3を達成し、Hits@10も高い（例: Wikidata12k Hits@10 = 0.481）。
• モデルは静的GKEモデルと同等の空間計算量を維持し、対角共分散により効率的な計算を実現。訓練時間は実用的（例: d=100でRTX2080時、1エポックあたり2.8秒）。
• アブレーションは埋め込み次元と加法的時間系列成分が性能に大きく影響することを示し、ATiSEは低次元でも最先端の結果を達成。