[論文レビュー] Canonical Tensor Decomposition for Knowledge Base Completion

Timothée Lacroix, Nicolas Usunier+1 more|arXiv (Cornell University)|Jun 19, 2018

Advanced Graph Neural Networks参考文献 34被引用数 49

ひとこと要約

この論文は知識ベース補完のCPを再評価し、意味的に不変な相互述語の再定式化と核3-ノルム正則化を導入し、いくつかのベンチマークで最先端の結果を達成し、逆述語を使用するとComplExと同等になる。

ABSTRACT

The problem of Knowledge Base Completion can be framed as a 3rd-order binary tensor completion problem. In this light, the Canonical Tensor Decomposition (CP) (Hitchcock, 1927) seems like a natural solution; however, current implementations of CP on standard Knowledge Base Completion benchmarks are lagging behind their competitors. In this work, we attempt to understand the limits of CP for knowledge base completion. First, we motivate and test a novel regularizer, based on tensor nuclear $p$-norms. Then, we present a reformulation of the problem that makes it invariant to arbitrary choices in the inclusion of predicates or their reciprocals in the dataset. These two methods combined allow us to beat the current state of the art on several datasets with a CP decomposition, and obtain even better results using the more advanced ComplEx model.

研究の動機と目的

• 知識ベース補完に対して最先端モデルと対峙するCPを動機づけ、評価する。
• 原理的な正則化を促進するテンソルノルムベースの正則化子を導入する。
• 述語とその逆をモデリングして意味的不変性を持つ再定式化を提案する。
• 複数データセットにわたり標準設定と reciprocal 設定の下でCPとComplExを評価する。

提案手法

• 知識ベースを3階の二値テンソルとしてモデル化し、CP分解を適用する。
• データ依存ウェイト付けを用いた全多クラスロスを学習に使用する。
• テンソルノルムの変分形として核pノルム正則化を導入する（特に核3-ノルム）。
• 逆述語を追加して目的関数を再定式化し、意味的不変性を得る reciprocal テンソルを作成する。
• 標準設定と reciprocal 設定の下で CP と ComplEx を比較し、加重正則化と SGD 最適化を実装する。

実験結果

リサーチクエスチョン

• RQ1 適切に選択された最適化と正則化でCPは知識ベース補完で競争力のある性能を達成できるか。
• RQ2 テンソルノルムベースの正則化子はベンチマークデータセット上のCP性能を改善するか。
• RQ3 逆述語（reciprocals）をモデリングすることはリンク予測を改善し、意味的不変性を提供するか。
• RQ4 標準的なベンチマークにおける reciprocal 形式の下で CP と ComplEx はどのように比較されるか。
• RQ5 最適化設定（バッチサイズ、学習率、ランク）のモデル性能への影響はどれほどか。

主な発見

モデル	WN18 MRR	WN18 H@10	FB15K MRR	FB15K-237 MRR	YAGO3-10 MRR	FB15K WN18RR MRR	FB15K WN18RR H@10	注記
Past SOTA CP	0.08	0.13	-	-	-	-	-	-
ComplEx †	0.94	0.95	0.44	0.51	0.70	0.84	0.25	-
DistMult ∗	0.82	0.94	0.43	0.49	0.80	0.89	0.24	-
ConvE ∗	0.94	0.95	0.46	0.48	0.75	0.87	0.32	-
Best Published ⋆	0.94	0.97	0.46	0.51	0.84	0.93	0.32	-
CP-N3 (Standard)	0.20	0.33	0.12	0.20	0.46	0.65	0.33	-
ComplEx-N3	0.95	0.96	0.47	0.54	0.80	0.89	0.35	-
CP-FRO (Reciprocal)	0.95	0.95	0.46	0.48	0.86	0.91	0.34	-
CP-N3 (Reciprocal)	0.95	0.96	0.47	0.54	0.86	0.91	0.36	-
ComplEx-FRO (Reciprocal)	0.95	0.96	0.47	0.54	0.86	0.91	0.35	-
ComplEx-N3 (Reciprocal)	0.95	0.96	0.48	0.57	0.86	0.91	0.37	-

• CPは慎重に最適化し reciprocal述語モデリングを用いると最先端性能に到達できる。
• 逆をモデル化することは CP と ComplEx の大きな利得を生み、例えば FB15K の CP は reciprocal で MRR が 0.46 から 0.86 に向上する。
• 核3-norm正則化は難データで小さくても有意な改善を提供するが、CP性能の決定的要因ではない。
• reciprocal 形式は WN18 と FB15K で CP の性能を大幅に高め、いくつかのデータセットで CP の結果を ComplEx に近づける、または一致させる。
• 逆述語を用いた CP と ComplEx は、標準の counterpart より複数データセットで平均再現性順位（mean reciprocal rank）を高くする。
• 最適化ハイパーパラメータは最終結果に強い影響を与え、場合によっては 0.1 MRR の差になる。