[論文レビュー] From One Point to A Manifold: Knowledge Graph Embedding For Precise Link Prediction

Han Xiao, Minlie Huang+1 more|arXiv (Cornell University)|Dec 15, 2015

Advanced Graph Neural Networks参考文献 22被引用数 109

ひとこと要約

この論文は、既存の手法における不適切な代数的システムと過剰に制限された幾何的形状の問題を解決するため、点ごとの翻訳モデルを多様体ごとのモデルに置き換える知識グラフ埋め込み手法ManifoldEを提案する。関係を多様体（例：球面や超平面）としてモデル化することで、リンク予測の正確性が著しく向上し、WN11およびFB13で最先端のモデルを上回り、複雑な関係において最大99.5%の精度向上を達成する。

ABSTRACT

Knowledge graph embedding aims at offering a numerical knowledge representation paradigm by transforming the entities and relations into continuous vector space. However, existing methods could not characterize the knowledge graph in a fine degree to make a precise prediction. There are two reasons: being an ill-posed algebraic system and applying an overstrict geometric form. As precise prediction is critical, we propose an manifold-based embedding principle (\ extbf{ManifoldE}) which could be treated as a well-posed algebraic system that expands the position of golden triples from one point in current models to a manifold in ours. Extensive experiments show that the proposed models achieve substantial improvements against the state-of-the-art baselines especially for the precise prediction task, and yet maintain high efficiency.

研究の動機と目的

• 既存の知識グラフ埋め込み手法が正確なリンク予測において抱える制限を解消すること。
• 翻訳ベースのモデルにおける過剰に制約された方程式によって引き起こされる不適切な代数的システムを解消すること。
• 正しい三元組を単一の点として扱うことで判別力が低下する過剰に制限された幾何的形状を克服すること。
• many-to-many や N-1 関係のような複雑で曖昧な関係における性能向上を図ること。
• 正確な知識補完および推論を向上させるために、適切に定式化され、安定的かつ効率的な埋め込みフレームワークを開発すること。

提案手法

• TransEにおける点ごとの翻訳を置き換えるために、関係固有の関数が頭部エンティティと尾部エンティティを多様体にマッピングする多様体ベースの埋め込み原理を提案する。
• ゴールデン三元組が多様体（例：球面や超平面）上にあるとモデル化し、三元組から多様体までの二乗距離を測定する目的関数を用いる。
• 予測された三元組と多様体との距離を最小化する微分可能な損失関数を用い、マージンベースの正則化を適用する。
• 2つのバージョンを採用：球面多様体を用いるManifoldE（Sphere）と、超平面多様体を用いるManifoldE（Hyperplane）で、両者ともカーネルベースの類似度関数を用いる。
• ベルヌーイ分布を用いたネガティブサンプリングを実施し、学習率およびマージンハイパーパrameterを用いて確率的勾配降下法で最適化する。
• 自由パラメータの数（d*(E+R)）が事実の数（T）に対して十分に多いことにより、ほぼ適切に定式化された代数的システムを実現する。この条件は d ≥ T/(E+R) を満たすことで達成される。

実験結果

リサーチクエスチョン

• RQ1 知識三元組を単一の点ではなく多様体上に位置するとみなすことで、知識グラフにおける正確なリンク予測が向上するか？
• RQ2 翻訳ベースのモデルの不適切な代数的システムを、ほぼ適切に定式化されたシステムに置き換えることで、埋め込みの安定性と正確性が向上するか？
• RQ3 「Type Of」や「Gender」のような複雑な関係において、多様体ベースのモデルは点ベースのモデルよりも優れた性能を示すか？
• RQ4 提案手法は、標準ベンチマークで優れた正確性を達成しつつ、高い効率を維持できるか？
• RQ5 幾何的柔軟性（例：球面対超平面）が判別性能に与える影響は何か？

主な発見

• ManifoldE（Sphere）はWN11およびFB13で平均87.4%の精度を達成し、すべての最先端ベースラインを上回る。
• WN11における複雑な関係「Type Of」において、ManifoldE（Sphere）はTransEの71.4%から86.3%へと精度を向上させた。
• FB13における極端なN-1関係「Gender」において、ManifoldE（Sphere）は99.5%の精度を達成したのに対し、TransEは95.1%であった。
• 可視化結果から、ManifoldEはゴールデンポイント周囲のノイズを低減しており、真の三元組と偽の三元組がTransEよりも明確に分離されている。
• 誤差解析から、上位順位の誤りの63%が関連するが誤った概念に起因していることが判明し、より複雑な多様体を導入することで判別力を向上させられる可能性がある。
• 本手法は高い効率性とスケーラビリティを維持しており、訓練および推論時間は既存のモデルと同等の水準である。