[論文レビュー] SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions

Han Xiao, Minlie Huang+1 more|arXiv (Cornell University)|Apr 17, 2016

Topic Modeling被引用数 117

ひとこと要約

SSP は象徴的三元組とテキスト記述から協調的に学習し、三元組の損失をセマンティック・ハイパープレーンに射影することで、ベースラインより知識グラフ補完とエンティティ分類を改善します。

ABSTRACT

Knowledge representation is an important, long-history topic in AI, and there have been a large amount of work for knowledge graph embedding which projects symbolic entities and relations into low-dimensional, real-valued vector space. However, most embedding methods merely concentrate on data fitting and ignore the explicit semantic expression, leading to uninterpretable representations. Thus, traditional embedding methods have limited potentials for many applications such as question answering, and entity classification. To this end, this paper proposes a semantic representation method for knowledge graph extbf{(KSR)}, which imposes a two-level hierarchical generative process that globally extracts many aspects and then locally assigns a specific category in each aspect for every triple. Since both aspects and categories are semantics-relevant, the collection of categories in each aspect is treated as the semantic representation of this triple. Extensive experiments justify our model outperforms other state-of-the-art baselines substantially.

研究の動機と目的

• エンティティおよびリレーションのテキスト記述を活用してKG埋め込みを強化する動機付け。
• セマンティック・スペース投影（SSP）モデルを提案し、セマンティック・ハイパープレーンを介して三元組とテキストを結合する。
• 損失ベクトルをセマンティックな部分空間に射影することで、識別性とセマンティックな関連性が向上することを示す。
• ベンチマークデータセットを横断して、KG補完とエンティティ分類の改善を実証する。

提案手法

• 三元組を TransE 風の埋め込みからの損失ベクトル e = h + r − t として表現する。
• テキストから得られるセマンティック・ベクトル s を用いてセマンティック・ハイパープレーンを定義する（s = S(sh, st)）。
• e をハイパープレーンに射影して e − s^T e s を得、スコアを f_r(h,t) = −λ ||e − s^T e s||^2 + ||e||^2 として計算する。
• トピックモデル（Std）または埋め込みと jointly 学習する（Joint）を用いてテキスト記述からセマンティックベクトルを生成する。
• S(sh, st) = (sh + st) / ||sh + st||^2 によってヘッド/テイルのセマンティックベクトルを構成し、ハイパープレーンの法線ベクトルを形成する。
• 埋め込みのランクベースヒンジ損失と、NMF トピックモデリングからのトピック損失を組み合わせ、μ で両者を調整しながら訓練する。
• 負例三元組にはベルヌーイサンプリングを用い、最適化には SGD を用いる。
• ハイパーパラメータを設定する：d ≈ 100、γ、λ ≈ 0.2–0.6（データセット依存）、μ は共同訓練を制御。

実験結果

リサーチクエスチョン

• RQ1 テキスト記述を象徴的な三元組と効果的に統合して、埋め込みをセマンティックな部分空間に射影できるか。
• RQ2 SSP はテキスト認識付きおよび三元組のみのベースラインを超えて、知識グラフ補完（リンク予測）とエンティティ分類を改善するか。
• RQ3 Std（トピックベース）と Joint（テキストと三元組を同時学習）設定は、性能と収束性においてどのように比較されるか。
• RQ4 セマンティック・ハイパープレーンによる強いテキスト–三元組相関のモデリングは、予測の識別性と精度にどのような影響を与えるか。

主な発見

Dataset / Model	Mean Rank	HITS@10
FB15K - TransE	210	119
FB15K - TransH	212	87
FB15K - Jointly	167	39
FB15K - DKRL(BOW)	200	113
FB15K - DKRL(ALL)	181	93
FB15K - SSP (Std.)	213	113
FB15K - SSP (Joint)	188	85
WN18 - TransE	263	251
WN18 - TransH	401	338
WN18 - SSP (Std.)	312	193
WN18 - SSP (Joint)	168	156

• SSP はベンチマークデータセット全体で知識グラフ補完とエンティティ分類の基準手法を一貫して上回る。
• SSP(Joint) は SSP(Std.) より大きな改善をもたらし、三元組とテキストの意味論的意味を共同で学習する利点を強調する。
• セマンティック・ハイパープレーンを介した強いテキスト–三元組相関のモデリングは、一次的なテキスト–三元組相互作用よりも良い識別性を提供する。
• SSP は FB15K および WN18 でランキングベースの指標（Mean Rank, HITS@10）を大幅に改善し、FB15K/FB20K でエンティティ分類の MAP を高める。
• TransE と比較して、セマンティック射影による顕著な利点があり、DKRL 派生を強い相関のモデリングによって上回る。