[論文レビュー] Know-Evolve: Deep Temporal Reasoning for Dynamic Knowledge Graphs

Rakshit Trivedi, Hanjun Dai+2 more|arXiv (Cornell University)|May 16, 2017

Advanced Graph Neural Networks参考文献 26被引用数 107

ひとこと要約

Know-Evolve は、動的な知識グラフのための深い進化フレームワークを提示します。事実の発生を時系列ポイントプロセスとしてモデル化し、進化するエンティティ埋め込みによって変調され、リンク予測と時刻予測の両方を可能にし、オープンワールド推論を実現します。

ABSTRACT

The availability of large scale event data with time stamps has given rise to dynamically evolving knowledge graphs that contain temporal information for each edge. Reasoning over time in such dynamic knowledge graphs is not yet well understood. To this end, we present Know-Evolve, a novel deep evolutionary knowledge network that learns non-linearly evolving entity representations over time. The occurrence of a fact (edge) is modeled as a multivariate point process whose intensity function is modulated by the score for that fact computed based on the learned entity embeddings. We demonstrate significantly improved performance over various relational learning approaches on two large scale real-world datasets. Further, our method effectively predicts occurrence or recurrence time of a fact which is novel compared to prior reasoning approaches in multi-relational setting.

研究の動機と目的

• イベントタイムスタンプを持つ時間的に進化する多関係知識グラフに対する推論を動機付ける。
• 時間とともに非線形で相互に進化するエンティティ表現を学習するフレームワークを開発する。
• 関係スコアによって変調される多変量時系列ポイントプロセスとして事実の発生をモデル化する。
• 事実が発生するかどうかと、いつ発生するかの両方を予測できるようにする。
• Open World Assumption をサポートし、未見のエンティティへの一般化を実現する。

提案手法

• エッジに再発を許す quadruplet (subject, relation, object, time) として時系列知識グラフを定義する。
• 事実の発生を、関係スコアにより変調される多次元の時系列ポイントプロセスとしてモデル化し、強度を lambda(t|history) = exp(g_r^{e_s,e_o}(t)) * (t - t_bar) とする。ここで g_r^{e_s,e_o} は双線形の関係スコアである。
• g_r^{e_s,e_o}(t) = v^{e_s}(t-)^T R_r v^{e_o}(t-) を計算し、強度を動的に進化するエンティティ埋め込みに結びつける。
• 時間のドリフトと多関係空間での相互進化を捉える、式 (5) および式 (6) によって主語および目的語の埋め込みを更新する、革新的な深層リカレントネットワークを導入する。
• 観測された事象に対する最大尤度で訓練し、解析不能な積分を扱うために確率的サンプリングを用いて前方時間生存項を近似する。
• スライディングタイムウィンドウ上のイベント間の依存関係を扱うために Global BPTT 学習手順を用いる。

実験結果

リサーチクエスチョン

• RQ1 Know-Evolve は、エンティティ間の関係の次の発生とその発生時刻を正確に予測できるか？
• RQ2 時間的に進化するエンティティ埋め込みは、実世界の時間的知識グラフ上のリンク予測性能を改善するか？
• RQ3 Relational scores を用いた時間的ポイントプロセスを組み込むことは、リンク予測および時刻予測の点で、静的または非時間的モデルと比較してどうか？
• RQ4 モデルは Open World Assumption および未見のエンティティを効果的に扱えるか？

主な発見

• Know-Evolve は、リンク予測の面で2つの大規模な実世界の時間的 KG データセットにおいて、最先端の関係学習ベースラインを上回る。
• モデルは、競合他社と比較して予測品質の時間的変動が安定し、分散が低いことを示す。
• Know-Evolve は時間予測性能が高く、イベント時刻の予測において他のポイントプロセスベース手法を上回る。
• アプローチは、より単純な関係モデルと同程度のメモリ使用量で拡張性を示す。
• 時間的ポイントプロセスと進化する埋め込みの組み合わせが、多関係データの非線形な時間動力学をより良く捉えることを示唆している。