[論文レビュー] Type-Constrained Representation Learning in Knowledge Graphs

Denis Krompaß, Stephan Baier+1 more|arXiv (Cornell University)|Aug 11, 2015

Advanced Graph Neural Networks参考文献 23被引用数 77

ひとこと要約

本稿では、最先端の知識グラフ埋め込みモデル（TransE、RESCAL、およびマルチウェイニューラルネットワーク（mwNN））に型制約と局所的閉世界仮説（LCWA）を統合することで、リンク予測の性能を向上させることを提案する。KGスキーマからの意味的型情報、または観測された三項対から型を推論することで、特に低次元かつ計算効率の良い設定下で、リンク予測性能を最大77%向上させた。

ABSTRACT

Large knowledge graphs increasingly add value to various applications that require machines to recognize and understand queries and their semantics, as in search or question answering systems. Latent variable models have increasingly gained attention for the statistical modeling of knowledge graphs, showing promising results in tasks related to knowledge graph completion and cleaning. Besides storing facts about the world, schema-based knowledge graphs are backed by rich semantic descriptions of entities and relation-types that allow machines to understand the notion of things and their semantic relationships. In this work, we study how type-constraints can generally support the statistical modeling with latent variable models. More precisely, we integrated prior knowledge in form of type-constraints in various state of the art latent variable approaches. Our experimental results show that prior knowledge on relation-types significantly improves these models up to 77% in link-prediction tasks. The achieved improvements are especially prominent when a low model complexity is enforced, a crucial requirement when these models are applied to very large datasets. Unfortunately, type-constraints are neither always available nor always complete e.g., they can become fuzzy when entities lack proper typing. We show that in these cases, it can be beneficial to apply a local closed-world assumption that approximates the semantics of relation-types based on observations made in the data.

研究の動機と目的

• 知識グラフ表現学習における潜在変数モデルの性能に、整理された意味的型制約が与える影響を調査すること。
• 現実世界の知識グラフにおける不完全または曖昧な型制約の課題に対処するため、局所的閉世界仮説（LCWA）を用いたデータ駆動型代替手法を提案すること。
• 複数の最先端モデルを用いて、多様で大規模な知識グラフにおいて、型制約とLCWAがリンク予測に与える影響を評価すること。
• 特に低モデル複雑性の条件下で、型制約が最大の利益をもたらす条件を特定すること。
• 実用的な知識グラフ応用において、型制約とLCWAを組み合わせることで、堅牢でスケーラブルなモデリングが可能かどうかを検討すること。

提案手法

• KGスキーマからの明示的型制約（例：ドメインおよびレンジ制約）を、TransE、RESCAL、mwNNに統合し、エンティティおよび関係の埋め込みが意味的型を尊重するように制約する。
• スキーマベースの制約が欠落または不完全な場合に、観測された三項対からインスタンスレベルで型制約をLCWAを用いて推論する。
• 各モデルの学習目的を修正し、予測される三項対がスキーマベースの型制約またはLCWAから導かれた制約を尊重するように強制する。
• ベンチマークデータセット（Freebase-150k、DBpedia-Music、YAGOc-195k）を用いて、標準的なリンク予測評価プロトコル（AUPRCおよびAUROC指標）を実施する。
• モデルの複雑さと計算効率の制約を再現するために、低次元埋め込み（例：50〜100次元）を用いる。
• 型制約およびLCWAの有無に応じたモデル性能を比較し、それらの個別的および組み合わせ的効果を分離して評価する。

実験結果

リサーチクエスチョン

• RQ1 KGスキーマからの型制約は、TransE、RESCAL、mwNNにおけるリンク予測性能にどのように影響を与えるか？
• RQ2 型制約が欠落または不完全な状況において、局所的閉世界仮説（LCWA）はリンク予測性能をどの程度向上させるか？
• RQ3 型制約またはLCWAの利点は、特に埋め込み次元が低い場合に、モデルの複雑さに依存するか？
• RQ4 LCWAは、現実世界の知識グラフにおける欠落または曇った型制約を効果的に代替できるか？
• RQ5 低次元設定下で、どのモデルアーキテクチャ（TransE、RESCAL、mwNN）が型制約またはLCWAから最も利益を得られるか？

主な発見

• 型制約は、TransE、RESCAL、mwNNの全モデルにおいて、最大77%のリンク予測性能向上を達成した。特にモデルの複雑さが低い状況で最も顕著な向上が見られた。
• 埋め込み次元が低い場合に型制約の恩恵が顕著になるため、大規模知識グラフへのスケーラブルな展開において不可欠である。
• 型制約が欠落している場合、LCWAはリンク予測性能に顕著な向上をもたらすが、一貫してスキーマベースの型制約を上回るとは限らない。
• YAGOc-195kでは、型制約を用いたモデルがLCWAを用いたモデルを顕著に上回った。これは、利用可能な場合は整理されたスキーマ知識が依然として優れていることを示している。
• RESCALは、型制約が欠落している状況でLCWAにより最も利益を得たが、mwNNは型制約を用いることで最高の性能を発揮した。一方、TransEは埋め込み長に応じて結果が混合的であった。
• 実用的応用においては、型制約が利用可能な場合にそれを使用し、不完全な型付けの場合はLCWAをフォールバックとして用いるという組み合わせが推奨される。