[論文レビュー] Complex Embeddings for Simple Link Prediction

Théo Trouillon, Johannes Welbl+3 more|arXiv (Cornell University)|Jun 20, 2016

Advanced Graph Neural Networks参考文献 25被引用数 1,127

ひとこと要約

この論文は ComplEx を紹介します。複素数値埋め込み法で、エルミート内積を用いてリンク予測の対称性と反対称性の両方をモデル化し、線形の空間/時間計算量で最先端の結果を達成します。

ABSTRACT

In statistical relational learning, the link prediction problem is key to automatically understand the structure of large knowledge bases. As in previous studies, we propose to solve this problem through latent factorization. However, here we make use of complex valued embeddings. The composition of complex embeddings can handle a large variety of binary relations, among them symmetric and antisymmetric relations. Compared to state-of-the-art models such as Neural Tensor Network and Holographic Embeddings, our approach based on complex embeddings is arguably simpler, as it only uses the Hermitian dot product, the complex counterpart of the standard dot product between real vectors. Our approach is scalable to large datasets as it remains linear in both space and time, while consistently outperforming alternative approaches on standard link prediction benchmarks.

研究の動機と目的

• 大規模知識ベースにおけるリンク予測を動機付け、過剰なパラメータを使わずに反対称な関係に対処する。
• 関係スコアリングにエルミート内積を用いる複素数値埋め込みモデルを提案する。
• エンティティ共有埋め込みと関係固有の複素重みを用いて、多関係データへ拡張する。
• 標準ベンチマーク（FB15K、WN18）でのスケーラビリティと実証性能を示す。
• 実装の実用性を高めるための等価な実数値表現を提供する。

提案手法

• 関係を低ランクの複素数値行列 X = (E W 〃er^T)としてモデリングし、スコアを X_{so} = e_s^T W 〃r o (complex conjugate of e_o) によって予測する。
• 共有エンティティ埋め込み E ∈ C^{n×K} および 関係埋め込み w_r ∈ C^K を各関係に対して用いる。
• 多関係データを logit リンクで表現: P(Y_{rso}=1) = sigmoid(<w_r, e_s, 〃r e_o>).
• 複素分解の実部が反対称性を保持しつつ実数値スコアを近似するのに十分であることを説明する。
• エルミート積を介して対称・非対称の関係を扱い、線形の空間および時間計算量を持つと主張する。
• 実装を容易にするための等価な実数値表現を提供する。

実験結果

リサーチクエスチョン

• RQ1 エルミート点積を用いた複素数値埋め込みは、知識グラフにおける対称・非対称の関係を共同でモデル化できるのか？
• RQ2 標準のリンク予測ベンチマークで、ComplEx 埋め込みは実数値のベースライン（例：DistMult、TransE、HolE）を上回るのか？
• RQ3 このアプローチは線形の時間・空間計算量でウェブ規模の知識ベースに対してスケーラブルか？
• RQ4 反対称な関係を含むデータセット（例：WN18）と対称な関係を含むデータセットでのモデルの性能はどうか？
• RQ5 実数値の再表現が実装を単純化しつつ性能を維持できるか？

主な発見

• ComplEx は FB15K と WN18 において、filtered MRR および Hits@k 指標で最先端のベースラインを上回る。
• このモデルは反対称的な関係を正確に捉え、そのようなパターンを含むデータセット（例：WN18）で改善を示す。
• 複素数埋め込みは、空間と時間の両方で線形のままの、単純でスケーラブルなドット積ベースの組み合わせを可能にする。
• 実用的な採用を支援する等価な実数値表現を提供し、複素演算を必要としない。
• ネガティブサンプリングとロジスティック損失による学習は、データセット全体で強い実証性能を示す。