[論文レビュー] A Structural Representation Learning for Multi-relational Networks

Xin Li, Huiting Hong+2 more|arXiv (Cornell University)|May 16, 2018

Advanced Graph Neural Networks参考文献 23被引用数 3

ひとこと要約

本論文では、従来の手法が無視しがちな三角形および平行四辺形の接続パターンを明示的に保持する、マルチリレーションネットワークのための構造的表現学習モデルであるマルチリレーションネットワーク埋め込み（MNE）を提案する。$h + r = t$ という硬い制約を柔軟な目的関数に置き換えることで、MNE は知識グラフベンチマークデータセットにおいて、特に構造的複雑性の高いネットワークで、TransE や LINE といった最先端手法を上回る優れた性能を達成する。

ABSTRACT

Most of the existing multi-relational network embedding methods, e.g., TransE, are formulated to preserve pair-wise connectivity structures in the networks. With the observations that significant triangular connectivity structures and parallelogram connectivity structures found in many real multi-relational networks are often ignored and that a hard-constraint commonly adopted by most of the network embedding methods is inaccurate by design, we propose a novel representation learning model for multi-relational networks which can alleviate both fundamental limitations. Scalable learning algorithms are derived using the stochastic gradient descent algorithm and negative sampling. Extensive experiments on real multi-relational network datasets of WordNet and Freebase demonstrate the efficacy of the proposed model when compared with the state-of-the-art embedding methods.

研究の動機と目的

• 既存のマルチリレーションネットワーク埋め込み手法が $h + r = t$ という硬い制約に依存するため、三角形や平行四辺形のような複雑な構造的パターンを捉えられないという限界を解消すること。
• マルチリレーションネットワークにおける高階の接続構造を暗黙的に保持する、より柔軟な表現学習フレームワークの開発。
• 特に密集した三角形接続を持つネットワークにおいても、トリプル分類およびリンク予測などの知識グラフタスクにおける性能を向上させること。
• 確率的勾配降下法とネガティブサンプリングを活用することで、大規模ネットワークへのスケーラブルな学習を可能とすること。

提案手法

• $h + r = t$ を強制しないで、エンティティと関係の間の幾何的関係をモデル化することで、三角形および平行四辺形の接続構造を暗黙的に保持する新しい目的関数を提案。
• ベクトル加算に基づくブリッジ関数を用いて構造的パターンをモデル化し、厳密な翻訳ベースのモデルに比べてより柔軟で正確な埋め込みを実現。
• 計算コストを低減し、大規模ネットワークへのスケーリングを可能とするために、ネガティブサンプリングを併用した確率的勾配降下法を採用。
• 最適化された学習ダイナミクスを備えた MNE の拡張版である ${M\text{NE}}^{+}$ を導入。
• 各 (ヘッド, 関係, テイル) トリプルをポジティブサンプルとみなし、ヘッドまたはテイルエンティティを変更することでネガティブサンプルを生成。
• リンク予測およびトリプル分類タスクの下流評価のために、学習済み埋め込みにロジスティック回帰分類器を適用。

実験結果

リサーチクエスチョン

• RQ1 マルチリレーションネットワーク埋め込みモデルは、従来の手法が無視しがちな三角形接続構造を効果的に捉えることができるか？
• RQ2 $h + r = t$ という硬い制約をより柔軟な目的関数に置き換えることで、表現品質と一般化性能が向上するか？
• RQ3 WordNet や Freebase のような、構造的複雑性の異なる実世界の知識グラフにおいて、提案手法はどの程度の性能を示すか？
• RQ4 大規模ネットワークへのスケーリングにおいて、高い正確性を維持しながらどの程度のスケーラビリティを達成できるか？
• RQ5 トリプル分類およびリンク予測タスクにおいて、TransE や LINE といった最先端手法を上回る性能を達成できるか？

主な発見

• MNE は、WN18 および FB15K データセットの両方において、トリプル分類およびリンク予測タスクで、すべてのベースライン手法（TransE, TransH, LINE）を一貫して上回る性能を発揮。
• 提案された ${M\text{NE}}^{+}$ モデルは、あらゆる設定で最高の性能を達成し、優れた一般化能力とロバストネスを示した。
• 三角形構造の割合が増加しても MNE は高い正確性を維持するが、TransE や TransH は同様の条件下で顕著な性能低下を示した。
• MNE は埋め込み次元数が約 20 の低次元で最適性能に収束するのに対し、他の手法は良好な結果を得るためには最低でも 100 次元を必要としており、よりコンactかつ効率的な表現であることが示された。
• ネガティブサンプリングによりスケーラブルな学習が可能となり、MNE は性能を損なわず大規模ネットワークを効率的に処理できる。