[論文レビュー] Learning Sequence Encoders for Temporal Knowledge Graph Completion

Alberto García-Durán, Sebastijan Dumančić+1 more|arXiv (Cornell University)|Sep 10, 2018

Advanced Graph Neural Networks参考文献 16被引用数 20

ひとこと要約

本論文では、時間に依存する関係タイプの表現を学習するためのLSTMを用いた系列符号化手法を提案し、リンク予測の性能向上を実現する。タイムスタンプと時間的述語をトークン系列としてモデル化することで、TransE や distMult などの標準的なスコア関数を強化し、4つのベンチマークデータセットで最先端の性能を達成した。特に、スパースで多様性のある時間的表現の処理において優れた効果を示した。

ABSTRACT

Research on link prediction in knowledge graphs has mainly focused on static multi-relational data. In this work we consider temporal knowledge graphs where relations between entities may only hold for a time interval or a specific point in time. In line with previous work on static knowledge graphs, we propose to address this problem by learning latent entity and relation type representations. To incorporate temporal information, we utilize recurrent neural networks to learn time-aware representations of relation types which can be used in conjunction with existing latent factorization methods. The proposed approach is shown to be robust to common challenges in real-world KGs: the sparsity and heterogeneity of temporal expressions. Experiments show the benefits of our approach on four temporal KGs. The data sets are available under a permissive BSD-3 license 1.

研究の動機と目的

• 関係が時間に束縛される時間的知識グラフにおけるリンク予測の課題に取り組むこと。これは、静的KGモデルではしばしば無視される問題である。
• 現実世界の知識グラフにおける時間的表現のスパarsityと多様性を克服し、効果的な表現学習を阻害する要因を解消すること。
• 既存の知識グラフ埋め込み手法のコアなスコア関数を変更せずに、時間的情報を統合すること。
• 時間的トークンの系列モデリングを通じて共通の誘導的バイアスを学習し、未観測のタイムスタンプへの一般化を可能にすること。

提案手法

• 関係タイプ（例：'since' や 'until'）とタイムスタンプからの数字列を含むトークン系列として、時間的事実を表現する。
• 双方向LSTMを用いて、これらのトークン系列を時間に依存する関係埋め込みに符号化し、時間的パターンと構造的規則性を捉える。
• 学習された時間に依存する関係埋め込みを、TransE や distMult などの標準的なスコア関数と組み合わせ、リンク予測に活用する。
• Adam最適化を用い、カテゴリカル交差エントロピー損失とドロップアウトによる正則化で、エンドツーエンドにモデルを学習する。
• 主語と目的語の両方の予測タスクに本手法を適用し、MRR、hits@10、hits@1 といった標準指標を用いて評価する。
• t-SNE可視化を用いて、学習された埋め込みが潜在空間で意味的な時間的構造を捉えていることを示す。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、'since' や '2009-01' のような時間的トークン系列（例：'since', '2009-01'）を効果的に符号化し、知識グラフ補完を改善できるか？
• RQ2 タイムスタンプごとに独立した埋め込みを学習するのではなく、トークンレベルで時間的情報をモデリングすることで、一般化性能と性能にどのような差が生じるか？
• RQ3 時間に依存する表現が、スパースで多様性のある時間的知識グラフにおけるリンク予測をどの程度向上できるか？
• RQ4 本手法は、未学習のタイムスタンプ（特に、そのタイムスタンプの例が十分に学習データに存在しない場合）に対しても一般化できるか？
• RQ5 本手法は、アーキテクチャの変更なしに、TransE や distMult といった既存の知識グラフ埋め込みモデルとスムーズに統合できるか？

主な発見

• TA-TransE と TA-distMult は、4つの時間的知識グラフデータセットすべてにおいて、MRR、hits@10、hits@1 で標準的な TransE や distMult を上回った。
• YAGO15k において、本手法は TransE よりも低い訓練損失を達成しており、効果的な時間的信号の利用による最適化の向上を示している。
• TTransE（各タイムスタンプごとに独立した埋め込みを学習）は、時間的多様性の高いデータセット（例：Wikidata）ではスパarsityのため性能が著しく劣り、本手法はより優れた一般化性能を示した。
• t-SNE可視化により、時間的述語系列の学習済み埋め込みが意味的に意味のあるクラスタを形成していることが確認され、時間的意味が効果的に捉えられていることが示された。
• RNNベースの系列符号化により、類似する時間的パターン（例：同じ世紀や十年）に対する誘導的バイアスが得られるため、未学習のタイムスタンプに対しても良好な一般化が可能である。
• 本手法は、'2009-01' や 'since 2009' のような不規則で多様な時間的表現に対しても、それらをトークンの系列として扱うことで、その多様性に強く対応できる。