[論文レビュー] TransG : A Generative Mixture Model for Knowledge Graph Embedding

Han Xiao, Minlie Huang+2 more|arXiv (Cornell University)|Sep 18, 2015

Advanced Graph Neural Networks参考文献 23被引用数 81

ひとこと要約

TransGは、関係固有のコンポーネントを1関係あたり複数学習することで、知識グラフ埋め込みにおける複数の関係意味を扱う生成的ベイジアン非パラメトリック混合モデルを提案する。潜在的意味を動的に発見するために中国レストラン過程（CRP）を用いることで、TransRを上回る最先端の性能を達成し、WN11で1.7%、FB13で5.8%の向上を実現した。

ABSTRACT

Recently, knowledge graph embedding, which projects symbolic entities and relations into continuous vector space, has become a new, hot topic in artificial intelligence. This paper addresses a new issue of multiple relation semantics that a relation may have multiple meanings revealed by the entity pairs associated with the corresponding triples, and proposes a novel Gaussian mixture model for embedding, TransG. The new model can discover latent semantics for a relation and leverage a mixture of relation component vectors for embedding a fact triple. To the best of our knowledge, this is the first generative model for knowledge graph embedding, which is able to deal with multiple relation semantics. Extensive experiments show that the proposed model achieves substantial improvements against the state-of-the-art baselines.

研究の動機と目的

• 知識グラフにおける複数の関係意味という問題を形式的に特定・解決すること。これは、1つの関係がエンティティペア間で異なる意味を表す可能性があることによる。
• 事前にコンポーネント数を知らなくても、自動的にこれらの潜在的意味コンポーネントを発見・表現できる生成的モデルを開発すること。
• 関係を固定された1つのベクトルではなく、関係固有のベクトルの混合としてモデル化することにより、知識グラフ埋め込みを改善すること。
• 複数の意味をモデル化することで、リンク予測およびトリプル分類タスクにおける性能向上が顕著に得られることを示すこと。

提案手法

• 中国レストラン過程（CRP）を用いたベイジアン非パラメトリック無限混合モデルを採用し、1関係あたりの潜在的意味コンポーネント数を無制限に可能にする。
• 各トリプル (h, r, t) を、関係固有のコンポーネントベクトルの混合としてモデル化し、コンポーネント i に対して h_r + r_i ≈ t_r を満たす埋め込みを実現する。
• 混合割合 π および分散 σ の最適化を、計算コストの高い尤度カウントに代えて、効率的な確率的勾配上昇（SGA）を用いる。
• 数値的安定性を確保するため、分散 σ を定数として固定する。一方、新しいクラスタ中心は真の差分 (t - h) ではなく、ランダムベクトルで初期化することで一般化性能を向上させる。
• トレーニング中の負例サンプリングにベルヌーイサンプリング戦略を適用し、効率性と収束性を向上させる。
• 類似した意味を持つエンティティペアを同じコンポーネントにグループ化する階層的クラスタリング機構を導入し、意味の明確化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 生成的モデルは、知識グラフにおける1関係の複数の潜在的意味を効果的に捉えることができるか？
• RQ2 1つのベクトルモデルと比較して、コンポーネントの混合として関係をモデル化することで、知識グラフ埋め込みの性能が向上するか？
• RQ3 関係は通常、何個の意味コンポーネントを持つのか？また、それらは解釈可能な意味に対応するか？
• RQ4 手動での指定なしに、モデルが正しい意味コンポーネント数を自動で発見できるか？
• RQ5 複数の意味を捉えることで、リンク予測およびトリプル分類の精度がどの程度向上するか？

主な発見

• TransGはWN11データセットで87.4%、FB13で87.3%の精度を達成し、すべてのベースライン（TransR：85.9%および82.5%、TransG-Hierarchical：85.4%および85.3%）を上回った。
• TransRと比較して、WN11で1.7ポイント、FB13で5.8ポイントの向上を示し、複数の意味をモデル化することの利点を裏付けた。
• より多くの意味コンポーネントを持つ関係（例："Profession" や "Type Of"）はより大きな性能向上を示したが、1つのコンポーネントしか持たない関係（例："Similar"）はほとんど向上が見られなかった。
• 1関係あたりの意味コンポーネント数は変動する：WN11では平均2.63、FB13では4.53であり、"Also See"、"Synset Usage"、"Gender" を除くほとんどの関係が1つ以上のコンポーネントを持つ。
• 可視化により、異なるコンポーネントが明確に異なる意味を表していることが確認された。例えば、「HasPart.1」は構成を、「HasPart.2」は場所関係を表している。
• 最適化および学習率スケジューリングの改善により、最終版では2,000エポックで収束したのに対し、元のバージョンは10,000エポックを要した。