[論文レビュー] Entity Embeddings with Conceptual Subspaces as a Basis for Plausible Reasoning

Shoaib Jameel, Steven Schockaert|arXiv (Cornell University)|Feb 18, 2016

Advanced Graph Neural Networks参考文献 30被引用数 14

ひとこと要約

本論文では、同一の意味的タイプに属するエンティティが低次元部分空間に位置するように制約することで、エンティティ埋め込みを学習する手法を提案している。核ノルム正則化を用いて関連する次元を自動で同定することで、妥当な推論が可能となる。このアプローチにより、自然な性質を凸領域として、顕著な特徴を方向としてモデル化でき、FB15kおよびFB13のリンク予測およびトリプル分類タスクでベースラインを上回る性能を発揮する。

ABSTRACT

Conceptual spaces are geometric representations of conceptual knowledge, in which entities correspond to points, natural properties correspond to convex regions, and the dimensions of the space correspond to salient features. While conceptual spaces enable elegant models of various cognitive phenomena, the lack of automated methods for constructing such representations have so far limited their application in artificial intelligence. To address this issue, we propose a method which learns a vector-space embedding of entities from Wikipedia and constrains this embedding such that entities of the same semantic type are located in some lower-dimensional subspace. We experimentally demonstrate the usefulness of these subspaces as (approximate) conceptual space representations by showing, among others, that important features can be modelled as directions and that natural properties tend to correspond to convex regions.

研究の動機と目的

• AIにおける概念的空間表現を自動的に構築する手法の不足に取り組むこと。
• 幾何的構造を用いて曖昧さ、帰納的推論、類似性をモデル化することで、妥当な推論を可能にすること。
• 同じ意味的タイプのエンティティが専用の部分空間に位置する、ドメインに依存しないベクトル空間埋め込みを学習すること。
• WikipediaのテキストとWikidataの知識を活用して、概念的空間の忠実な近似を構築すること。
• 学習された部分空間の有用性を、類似性の推論、リンク予測、トリプル分類といった推論タスクで評価すること。

提案手法

• 共有された埋め込み層を備えた深層ニューラルネットワークを用いて、WikipediaのテキストとWikidataからエンティティ埋め込みを学習する。
• 核ノルム正則化を適用し、同じ意味的タイプに属するエンティティが低ランク部分空間に埋め込まれるように制約することで、コンactかつ意味のある表現を促進する。
• 学習された部分空間を用いて、顕著な特徴をベクトル空間内の方向としてモデル化し、意味的次元の解釈を可能にする。
• 負例サンプリングとエネルギーに基づくスコアリングを用いて訓練することで、リンク予測およびトリプル分類の最適化を図る。
• 関係のトリプルに加えて、エンティティのbag-of-words表現を組み込むことで、関係の三つ組みを超えた意味的情報を豊かにする。
• トリプル分類用に、検証セット最適化により学習された関係固有の閾値を導入する。

実験結果

リサーチクエスチョン

• RQ1 意味的タイプ固有の部分空間に制約されたエンティティ埋め込みは、概念的空間の有効な近似として機能するか？
• RQ2 ドメイン固有の顕著な特徴は、学習されたベクトル空間内で識別可能な方向に対応するか？
• RQ3 自然な性質は、学習された部分空間内で凸領域としてモデル化可能か？
• RQ4 本手法は、重心への距離に基づく類似性に依存する帰納的推論といった妥当な推論をサポートするか？
• RQ5 既存のベースラインと比較して、標準的な知識グラフベンチマークタスクにおけるモデルの性能はどの程度か？

主な発見

• EECSモデルは、FB15kにおけるリンク予測で平均ランク48、HITS@10が89.7を達成し、すべての標準ベースラインを上回った。
• FB13データセットでは、TransHと同等の性能を示し、テキスト特徴が効果を発揮しなくても堅牢であることを示した。
• EECS${}_{\text{type-comb}}$バージョンは、FB15kでHITS@10が89.9という最高スコアを記録し、タイプと関係情報の組み合わせによる利点を示した。
• 人口や年齢といった数値的属性が、ベクトル空間内の方向として適切にモデル化され、解釈可能性が向上した。
• 重心への距離に基づく帰納的推論が効果的に捉えられ、概念的空間の類似性のアナロジーが妥当であることが裏付けられた。
• 核ノルム正則化により、意味的タイプごとに最適な次元数が自動で選択され、一般化性能と解釈可能性が向上した。