[論文レビュー] On Multi-Relational Link Prediction with Bilinear Models

Yanjie Wang, Rainer Gemulla+1 more|arXiv (Cornell University)|Sep 14, 2017

Advanced Graph Neural Networks被引用数 45

ひとこと要約

本稿は、多関係的リンク予測における双線形モデルを調査し、RESCAL、DISTMULT、HolE、ComplExといったモデルが制約付き双線形モデルの特別なケースであることを示している。これらのモデル間の包含関係を確立し、特定の条件下で普遍性を証明し、関係レベルのアンサンブルが標準ベンチマークで最先端の性能を達成することを示している。

ABSTRACT

We study bilinear embedding models for the task of multi-relational link prediction and knowledge graph completion. Bilinear models belong to the most basic models for this task, they are comparably efficient to train and use, and they can provide good prediction performance. The main goal of this paper is to explore the expressiveness of and the connections between various bilinear models proposed in the literature. In particular, a substantial number of models can be represented as bilinear models with certain additional constraints enforced on the embeddings. We explore whether or not these constraints lead to universal models, which can in principle represent every set of relations, and whether or not there are subsumption relationships between various models. We report results of an independent experimental study that evaluates recent bilinear models in a common experimental setup. Finally, we provide evidence that relation-level ensembles of multiple bilinear models can achieve state-of-the art prediction performance.

研究の動機と目的

• 多関係的リンク予測に用いられる主要な双線形モデルの表現力および構造的関係を分析すること。
• これらのモデルが、どのような条件下で普遍的であるか、すなわち任意のエンティティランク付けを表現可能であるかを特定すること。
• 複数のデータセットにわたる標準的な実験設定において、これらのモデルの相対的性能を評価すること。
• 関係レベルでの複数の双線形モデルのアンサンブルが、個々のモデルを上回る予測性能を達成できるかを調査すること。

提案手法

• RESCAL、DISTMULT、HolE、ComplEx、TransEといった主要な双線形モデルを、特定のパラメータ制約を課した一般双線形モデルのインスタンスとして形式化する。
• スコアテンソルまたはランク行列を任意に表現可能である条件を導出し、各モデルクラスの普遍性を定義・分析する。
• あるモデルのパラメータを別のモデルに変換する明示的な変換を用いて、包含関係を確立する。このとき、埋め込み次元を増加させる場合がある。
• 共通の訓練および評価プロトコルを用いて、標準的な知識グラフ補完ベンチマーク（例：FB15k、YAGO3-10）上で独立した実験評価を実施する。
• 関係ごとに複数の双線形モデルの予測を組み合わせる関係レベルのアンサンブル手法を提案し、評価する。
• MR、MRR、HITS@10などのランク付け指標を用いて、個々のモデルとアンサンブルを最先端の手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 どの双線形モデルが普遍的であり、埋め込み次元およびパラメータ制約のどのような条件下でそうなるか？
• RQ2 異なる双線形モデル間の包含関係は何か？ また、あるモデルクラスが、他のモデルのすべてのインスタンスを表現可能か？
• RQ3 標準的な知識グラフにおいて、個々のモデルの性能は関係ごとにどのように変動するか？
• RQ4 複数の双線形モデルを関係レベルでアンサンブル化することで、知識グラフ補完タスクで最先端の性能を達成できるか？

主な発見

• 主要な双線形モデル（RESCAL、DISTMULT、HolE、ComplEx）は、すべて一般双線形モデルの制約付きインスタンスとして表現可能であり、対角行列や複素数値パラメータなどの制約を含む。
• RESCALは埋め込み次元 r ≥ N であれば普遍的であるが、他のモデルは普遍性を達成するためにはより大きな r 必要であり、それぞれのモデルに対して上界が導出された。
• 包含関係が存在する。例えば、複素数埋め込みを用いることでComplExはDISTMULTをシミュレート可能であり、HolEは双線形形式の巡回相関版と見なせる。
• 個々のモデルの性能は関係に強く依存しており、すべての関係で一貫して優れるモデルは存在しない。
• 提案された関係レベルのアンサンブルは、FB15kおよびYAGO3-10で最先端の性能を達成しており、個々のモデルおよび非双線形の最先端手法を上回っている。
• アンサンブル手法はMRRおよびHITS@10スコアを顕著に向上させ、さまざまな関係タイプおよびデータセットで一貫した向上効果を示している。