[論文レビュー] Tensor Decompositions for temporal knowledge base completion

Timothée Lacroix, Guillaume Obozinski+1 more|arXiv (Cornell University)|Apr 10, 2020

Advanced Graph Neural Networks参考文献 26被引用数 120

ひとこと要約

この論文は、テンソル分解による知識ベース完備を時間データへ拡張し、時間的なComplExベースのモデル（TComplEx）と、非時間的成分を含む TNTComplEx という変種を提案する。正規化を導入し、評価のためのWikidata由来の大規模データセットを提供する。

ABSTRACT

Most algorithms for representation learning and link prediction in relational data have been designed for static data. However, the data they are applied to usually evolves with time, such as friend graphs in social networks or user interactions with items in recommender systems. This is also the case for knowledge bases, which contain facts such as (US, has president, B. Obama, [2009-2017]) that are valid only at certain points in time. For the problem of link prediction under temporal constraints, i.e., answering queries such as (US, has president, ?, 2012), we propose a solution inspired by the canonical decomposition of tensors of order 4. We introduce new regularization schemes and present an extension of ComplEx (Trouillon et al., 2016) that achieves state-of-the-art performance. Additionally, we propose a new dataset for knowledge base completion constructed from Wikidata, larger than previous benchmarks by an order of magnitude, as a new reference for evaluating temporal and non-temporal link prediction methods.

研究の動機と目的

• 知識ベース内の時間的リンク予測を動機づけ、事実が時間的に有効であることを扱う。
• 時間順序を持つ四次元テンソル（主語、述語、目的語、タイムスタンプ）に対するテンソル分解手法を拡張し、時間的KB完備を実現。
• 時間的データの異質性を扱うため、正規化と非時間的成分を導入。
• Wikidataから導出された大規模データセットを提供し、時間的・非時間的KB完備手法のベンチマークをスケーラブルに実施。

提案手法

• timestamp factor を追加して ComplEx を時間設定へ拡張: X_hat(U,V,T) = Re([U, V, conj(U), T]).
• 時間依存でない述語を扱う非時間的成分を導入し、TNTComplEx を導出。
• テンソル核 p-ノルムの変分形式（p=3,4）と時間埋め込みの平滑性項で正規化。
• 周辺統計量に基づいてモードを重み付けし、サンプリングを組み込む正規化スキームをテンソルを展開して導出。
• 観測済みトリプルとサンプリングされたネガティブ例に対するクロスエントロピー損失で学習し、学習を安定化させるために Reciprocal 関係を含める。
• 7M の時間的および非時間的トリプルを学習するために 432,715 個体、407 識別子、1,724 タイムスタンプを持つ大規模な Wikidata由来データセットを提示。

実験結果

リサーチクエスチョン

• RQ1 TComplEx の時間的拡張は、知識ベースの時間依存関係を効果的にモデル化できるか？
• RQ2 非時間的成分を追加した TNTComplEx は、異質な時間的知識ベースの性能を向上させるか？
• RQ3 正規化戦略（核 p-ノルムの変分形式と時間的平滑性）は、時間的KB完備の性能をどのように改善するか？
• RQ4 提案手法は、Wikidata のような大規模ウェブスケールの時間的/非時間的述語に対してスケールするか？

主な発見

Model	ICEWS14 MRR	ICEWS15-05 MRR	Yago15k MRR
TA	0.48	0.47	0.32
DE-SimplE	0.53	0.51	-
ComplEx	0.47 (0.47)	0.49 (0.49)	0.35 (0.36)
TComplEx	0.56 (0.61)	0.58 (0.66)	0.35 (0.36)
TNTComplEx	0.56 (0.62)	0.60 (0.67)	0.35 (0.37)

• TComplEx および TNTComplEx は、ICEWS14、ICEWS05-15、Yago15k でベースラインと同程度のパラメータ数で最先端の性能を達成。
• 核 p-ノルムの変分形式と時間的平滑性による正規化は、MRR を大幅に改善し、特定のデータセットで絶対値として最大 0.07 の向上を実現。
• 大規模 Wikidataベースデータセット（7M 学習トリプル、432K 個体、407 識別子、1.7K タイムスタンプ）は、時間的および非時間的KB完備のスケーラブルなベンチマークを提供。
• TNTComplEx は非時間的性能を維持しつつ、時間的性能も競争力を示し、共有パラメータ・混合時間的アプローチを正当化。
• 学習効率は、同程度のパラメータ数の静的モデルと比較して、追加の時間的モデリングにもかかわらず同等。