[論文レビュー] KSR: A Semantic Representation of Knowledge Graph within a Novel Unsupervised Paradigm

Han Xiao, Minlie Huang+1 more|arXiv (Cornell University)|Aug 27, 2016

Advanced Graph Neural Networks参考文献 33被引用数 4

ひとこと要約

本稿では、複数のビュー（例：形状、コンテンツなど）におけるクラスタ構造を用いて意味的解釈性の高いエンティティおよび関係のベクトル表現を生成する、マルチビュークラスタリングフレームワークを採用した新規な教師なし知識グラフ埋め込みモデルKSRを提案する。KSRは、知識グラフ補完、三元組分類、エンティティ分類、エンティティ検索の各タスクで最先端の性能を達成しており、TransE や NTN といったベースライン手法に比べ顕著な改善を示す。

ABSTRACT

Knowledge representation is a long-history topic in AI, which is very important. A variety of models have been proposed for knowledge graph embedding, which projects symbolic entities and relations into continuous vector space. However, most related methods merely focus on the data-fitting of knowledge graph, and ignore the interpretable semantic expression. Thus, traditional embedding methods are not friendly for applications that require semantic analysis, such as question answering and entity retrieval. To this end, this paper proposes a semantic representation method for knowledge graph extbf{(KSR)}, which imposes a two-level hierarchical generative process that globally extracts many aspects and then locally assigns a specific category in each aspect for every triple. Since both aspects and categories are semantics-relevant, the collection of categories in each aspect is treated as the semantic representation of this triple. Extensive experiments show that our model outperforms other state-of-the-art baselines substantially.

研究の動機と目的

• 幾何的またはブラックボックス型のニューラルスコア関数に依存する既存の知識グラフ埋め込み手法が意味的解釈性に欠ける問題に対処すること。
• 人間が読み取り可能な意味的意味を持つエンティティおよび関係の表現を生成する、新規な教師なしパラダイムの開発。
• 意味的クラスタに基づく表現を活用して効果的なエンティティ検索を実現すること。
• クラスタと意味の間の形式的意味的原則を知識表現に結びつけること。
• 知識グラフ補完や推論を含む複数の下流タスクにおいて、本モデルの有効性を実証すること。

提案手法

• KSRは、マルチビュークラスタリングに基づく二段階の階層的生成プロセスを用いてエンティティおよび関係をモデル化する。
• 各エンティティは、複数の意味的ビュー（例：形状、コンテンツ）におけるクラスタ所属の組み合わせとして表現され、意味的ベクトルを形成する。
• モデルは、知識グラフデータの複数のビューからクラスタ割り当てを推定する生成フレームワークを用いる。
• 意味的表現は、異なるビューからのクラスタ指標を組み合わせることで構築され、各ビューが別個の意味的次元を捉える。
• スコア関数はクラスタ所属確率から導出され、三元組の意味的認識スコアリングを可能にする。
• 意味的クラスタ構造を活用してエンティティ検索を強化するために、ネイティブベイズベースの分類器が用いられる。

実験結果

リサーチクエスチョン

• RQ1 マルチビュークラスタリングを効果的に活用して、知識グラフ内のエンティティおよび関係の解釈可能な意味的表現を生成できるか？
• RQ2 提案されたKSRモデルは、知識グラフ補完および分類タスクにおいて、既存の教師なし知識埋め込み手法を上回る性能を示すか？
• RQ3 意味的クラスタに基づく表現は、自然言語記述を用いたエンティティ検索の性能を向上させられるか？
• RQ4 KSRは、幾何的翻訳を超えて、1-N、N-1、N-N関係のような複雑な意味的関係をどの程度うまくモデル化できるか？
• RQ5 「クラスタ＝意味」という意味的原則が、異なる知識グラフデータセットにおいて実際の状況でも成立するか？

主な発見

• KSRは、TransE や NTN といった強力なベースラインに比べ、知識グラフ補完において顕著な改善を達成しており、三元組分類精度の向上も顕著である。
• エンティティ分類においても優れた性能を示しており、クラスタベースの表現が意味的差を的確に捉えていることが示された。
• 自然言語記述を用いたエンティティ検索においても高い有効性を示しており、モデルは意味的クラスタ構成に基づいてエンティティを正しく特定できた。
• モデルは複数の事実的質問（例：北京に隣接する省を特定する、中国の隣接国を特定する）に正しく応答でき、知識と言語の統合的推論能力を示した。
• 推論的質問（例：中国で最も裕福な省は？）に対しても一部正しく回答できており、単なる事実抽出を超えた複雑な推論能力があることが示された。
• アブレーションスタディの結果、単一ビューのクラスタリングでは意味的分離が不十分で、複数の意味が混在したクラスタが生成されることが判明し、マルチビュー統合の必要性が強調された。