[論文レビュー] Analogical Inference for Multi-Relational Embeddings

Hanxiao Liu, Yuexin Wu+1 more|arXiv (Cornell University)|May 6, 2017

Advanced Graph Neural Networks参考文献 42被引用数 193

ひとこと要約

ANALOGY を導入する。多関係埋め込みにおけるアナロジー的構造を、可換な正規行列を用いて明示的にモデル化するフレームワークであり、スケーラブルで微分可能な最適化と、 benchmark データセット上でのベースラインよりパフォーマンスが向上することを示します。

ABSTRACT

Large-scale multi-relational embedding refers to the task of learning the latent representations for entities and relations in large knowledge graphs. An effective and scalable solution for this problem is crucial for the true success of knowledge-based inference in a broad range of applications. This paper proposes a novel framework for optimizing the latent representations with respect to the extit{analogical} properties of the embedded entities and relations. By formulating the learning objective in a differentiable fashion, our model enjoys both theoretical power and computational scalability, and significantly outperformed a large number of representative baseline methods on benchmark datasets. Furthermore, the model offers an elegant unification of several well-known methods in multi-relational embedding, which can be proven to be special instantiations of our framework.

研究の動機と目的

• 大規模知識グラフ埋め込みにおけるアナロジー推論を動機づけ、形式化する。
• 関係写像の可換性と正規性を通じてアナロジー構造を課す、実行可能な目的関数を定義する。
• これらの制約の下でエンティティと関係の表現を学習するためのスケーラブルなアルゴリズムを開発する。
• 既存の埋め込みモデルが ANALOGY フレームワーク内の特殊ケースとして現れることを示す。

提案手法

• 各関係 r を、エンティティ埋め込み v_e に作用する線形写像 W_r としてモデル化し、三つ組を φ(s,r,o)=v_s^T W_r v_o でスコアリングする。
• 関係写像が可換な族を成し、かつ正規であることを課す。すなわち W_r W_r^T = W_r^T W_r および W_r W_{r'} = W_{r'} W_r for all r,r'.
• 可換な正規行列を、直交基底 Q による結合ブロック対角化として表現し、スパースなほぼ対角ブロック B_r を用いた等価な定式化を可能にする。
• 元の定式化の下での任意の解は、B_r を縮小集合内に持つ等価な解があることを証明し、1三つ組あたりの計算を O(m) に削減する。
• DistMult、ComplEx、HolE がフレームワーク内の特殊ケースとして現れることを示す。
• 非同期 AdaGrad SGD を用いたロジスティック損失を用い、負サンプルは s、r、または o を破壊することで生成する。

実験結果

リサーチクエスチョン

• RQ1 アナロジー推論を多関係埋め込みに正式に組み込むにはどうすればよいか。
• RQ2 関係行列の可換性と正規性制約は、知識グラフ補完を改善できるか。
• RQ3 性能を保ちつつ計算量を削減する、 ANALOGY の等価でより効率的な定式化はあるか。
• RQ4 既存の埋め込みモデルは ANALOGY の特殊ケースとしてどのように関連し、それは彼らの経験的有効性について何を意味するか。

主な発見

• ANALOGY は FB15K および WN18 において、広範なベースライン群に対して顕著な性能向上を達成する。
• このフレームワークは、いくつかの代表的な手法を特殊ケースとして示す統一的な視点を提供する。
• 代替のブロック対角化定式は、1三つ組あたりの計算を O(m) に削減し、埋め込みサイズと線形にスケールする。
• HolE および ComplEx は ANALOGY フレームワーク内の関連構成として見ることができ、HolE は実数値定式の複素値表現への緩和に相当する。