[論文レビュー] Recurrent Event Network: Autoregressive Structure Inference over Temporal Knowledge Graphs

Woojeong Jin, Meng Qu+2 more|arXiv (Cornell University)|Apr 11, 2019

Advanced Graph Neural Networks参考文献 44被引用数 36

ひとこと要約

RE-Netは、グローバル履歴とローカル近傍を同時にモデル化する時系列知識グラフの自己回帰モデルで、将来のマルチホップ・マルチリレーションイベントを予測します。多段の外挿を競争力のある精度で実現します。

ABSTRACT

Knowledge graph reasoning is a critical task in natural language processing. The task becomes more challenging on temporal knowledge graphs, where each fact is associated with a timestamp. Most existing methods focus on reasoning at past timestamps and they are not able to predict facts happening in the future. This paper proposes Recurrent Event Network (RE-NET), a novel autoregressive architecture for predicting future interactions. The occurrence of a fact (event) is modeled as a probability distribution conditioned on temporal sequences of past knowledge graphs. Specifically, our RE-NET employs a recurrent event encoder to encode past facts and uses a neighborhood aggregator to model the connection of facts at the same timestamp. Future facts can then be inferred in a sequential manner based on the two modules. We evaluate our proposed method via link prediction at future times on five public datasets. Through extensive experiments, we demonstrate the strength of RENET, especially on multi-step inference over future timestamps, and achieve state-of-the-art performance on all five datasets. Code and data can be found at https://github.com/INK-USC/RE-Net.

研究の動機と目的

• タイムスタンプを持つ事実が存在し、未来のイベントを予測する必要がある時系列知識グラフにおいて、外挿を動機づける。
• 過去のグラフ列に条件付けられた未来イベントの結合分布をモデル化する自己回帰フレームワークを提案します。
• 時系列依存性のための再帰的イベントエンコーダと、ローカルなグラフ構造を捉える近傍集約器を導入します。
• 5つの公開時系列知識グラフデータセットにおいて、マルチステップの将来イベント予測で最先端の性能を示します。

提案手法

• 将来イベントを、時刻ごとの自己回帰分解と各タイムスタンプ内のイベントを含む結合分布 p(Gt|Gt−m:t−1) としてモデル化します。
• 過去のグラフから、グローバル状態 Ht と局所表現 ht(s) および ht(s,r) を生成する再帰的イベントエンコーダを使用します。
• 主体と関係の周囲における局所グラフ構造を捉えるため、近傍集約器（平均、アテンション、および多リレーショナル GCN）を用います。
• 静的埋め込みと動的な局所/グローバル特徴を入力とするMLPデコーダを介して、p(o t|s t,r t,Gt−m:t−1)、p(r t|s t,Gt−m:t−1)、および p(s t|Gt−m:t−1) を定義します。
• 予測されたオブジェクト・関係・主体に対してクロスエントロピーロス風の損失を用いて学習し、オプションで重み付け（λ1、λ2）を適用します。
• Gt からの多段推論を可能にするため、逐次的に中間グラフ Gt+1:Δt−1 をサンプリングし、それを集約して p(Gt+Δt|Gt) を推定します。

実験結果

リサーチクエスチョン

• RQ1 RE-Net は、時系列知識グラフ上でのマルチステップ外挿において、見られていない将来のイベントを正確に予測できるか？
• RQ2 グローバル履歴とローカル近傍情報の両方を組み込むことで、ベースラインより将来イベント予測が改善されるか？
• RQ3 異なる近傍集約法（平均、アテンション、RGCN）が、マルチリレーションで時系列的に変化するグラフにおける予測性能にどう影響するか？
• RQ4 グラウンドトゥルースの将来イベントがなくても、多段推論は長期の予測で競争力を持つことができるか？

主な発見

手法	ICEWS18 MRR	ICEWS18 H@3	ICEWS18 H@10	GDELT MRR	GDELT H@3	GDELT H@10	ICEWS14 MRR	ICEWS14 H@3	ICEWS14 H@10	WIKI MRR	WIKI H@3	WIKI H@10	YAGO MRR	YAGO H@3	YAGO H@10
Static DistMult	22.16	26.00	42.18	18.71	20.05	32.55	19.06	22.00	36.41	46.12	49.81	51.38	59.47	60.91	65.26
R-GCN	23.19	25.34	36.48	23.31	24.94	34.36	26.31	30.43	45.34	37.57	39.66	41.90	41.30	44.44	52.68
ConvE	36.85	39.92	50.54	35.56	39.45	49.16	40.46	43.33	54.75	47.55	49.78	49.42	62.66	63.36	65.57
RotatE	23.10	27.61	38.72	22.33	23.89	32.29	29.56	32.92	42.68	48.67	49.74	49.88	64.09	64.67	66.16
Temporal TA-DistMult	28.53	31.57	44.96	29.35	31.56	41.39	20.78	22.80	35.26	48.09	49.51	51.70	61.72	63.32	65.19
HyTE	7.31	7.50	14.95	6.37	6.72	18.63	11.48	13.04	22.51	43.02	45.12	49.49	23.16	45.74	51.94
dyngraph2vecAE	1.52	1.99	2.02	4.53	1.87	1.87	10.83	12.70	15.02	5.30	5.27	5.45	0.93	0.84	0.95
tNodeEmbed	8.32	9.74	17.47	19.97	22.62	32.72	17.84	20.16	32.88	9.54	10.44	16.60	4.22	4.16	8.40
EvolveRGCN	16.59	18.32	34.01	15.55	19.23	31.54	17.01	18.97	32.58	46.49	47.83	49.23	59.74	61.03	61.69
Know-Evolve*	3.27	3.23	3.26	2.43	2.35	2.41	1.42	1.37	1.43	0.09	0.03	0.10	0	0.04	0
Know-Evolve+MLP	9.29	9.62	17.18	22.78	25.49	35.41	22.89	26.68	38.57	12.64	14.33	21.57	6.19	6.59	11.48
DyRep+MLP	9.86	10.66	18.66	23.94	27.88	36.58	24.61	28.87	39.34	11.60	12.74	21.65	5.87	6.54	11.98
R-GCRN+MLP	35.12	38.26	50.49	37.29	41.08	51.88	36.77	40.15	52.33	47.71	48.14	49.66	53.89	56.06	61.19
RE-Net w. mean agg.	40.70	43.27	53.65	38.35	42.13	52.52	43.79	47.34	57.47	51.13	51.37	53.01	65.10	65.24	67.34
RE-Net w. attn agg.	40.96	44.08	54.32	38.54	42.25	52.85	43.94	47.85	57.91	51.25	52.54	53.12	65.13	65.54	67.87
RE-Net	42.93	45.47	55.80	40.42	43.40	53.70	45.71	49.06	59.12	51.97	52.07	53.91	65.16	65.63	68.08

• RE-Net は、外挿リンク予測において5つのデータセットで最先端の結果を達成します。
• RE-Netを用いた多段推論は、遠い将来のタイムスタンプで一貫して予測精度を向上させます。
• 多リレーショナルグラフ集約（RGCN）とアテンティブ近傍プーリングが、集約方法の中で最高の性能を示します。
• イベントベースおよび公開KGにおいて、静的ベースラインおよび時系列推論モデルを大幅に上回ります。
• アブレーション分析により、集約器の除去や多段推論の除去が性能を低下させることが示され、両コンポーネントの重要性を強調します。