[論文レビュー] DOLORES: Deep Contextualized Knowledge Graph Embeddings

Haoyu Wang, Vivek Kulkarni+1 more|arXiv (Cornell University)|Oct 31, 2018

Advanced Graph Neural Networks参考文献 28被引用数 15

ひとこと要約

Dolores は、エンティティ・リレーションチェーンからの文脈に依存しないおよび文脈に依存する意味の両方を捉えるために、双方向LSTMを用いた深層コンテキスト埋め込みを提案する。これは、従来の浅いモデル（例：TransE）よりも豊かな文脈的依存関係をモデル化できることから、リンク予測、三項組分類、欠落した関係タイプ予測の分野で、SOTAの性能を最大9.5%向上させる。

ABSTRACT

We introduce a new method DOLORES for learning knowledge graph embeddings that effectively captures contextual cues and dependencies among entities and relations. First, we note that short paths on knowledge graphs comprising of chains of entities and relations can encode valuable information regarding their contextual usage. We operationalize this notion by representing knowledge graphs not as a collection of triples but as a collection of entity-relation chains, and learn embeddings for entities and relations using deep neural models that capture such contextual usage. In particular, our model is based on Bi-Directional LSTMs and learn deep representations of entities and relations from constructed entity-relation chains. We show that these representations can very easily be incorporated into existing models to significantly advance the state of the art on several knowledge graph prediction tasks like link prediction, triple classification, and missing relation type prediction (in some cases by at least 9.5%).

研究の動機と目的

• 既存の知識グラフ埋め込みがエンティティおよび関係間の文脈的依存関係を捉えられていないという限界を解決すること。
• エンティティ・リレーションチェーンの逐次的表現を通じて文脈的使用をモデル化する深層学習ベースの手法を開発すること。
• リンク予測、三項組分類、欠落した関係タイプ予測などの知識グラフ予測タスクにおける性能を向上させること。
• 文脈に依存する埋め込みを、既存の予測モデルへのドロップイン置換として統合可能にすること。
• トランスファーラーニングおよび下流のNLPタスクにおける、多層表現の有効性を調査すること。

提案手法

• 知識グラフを孤立した三項組ではなく、断片的なランダムウォークから得られるエンティティ・リレーションチェーンの系列として表現する。
• これらのチェーンを符号化し、エンティティおよび関係の深層的で文脈に依存する表現を学習するために、双方向LSTMを用いる。
• 複数の層におけるLSTMの隠れ状態から、文脈に依存しないおよび文脈に依存する両方の埋め込みを抽出する。
• 異なるLSTM層からの階層的表現を活用して、抽象度の異なるレベルの情報を捉える。
• 学習された埋め込みを、下流の知識グラフ予測モデルの入力特徴として使用する。
• 系列チェーン上で言語モデル学習の目的関数を用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラル系列モデルは、知識グラフにおけるエンティティおよび関係の文脈に依存する表現を効果的に学習できるか？
• RQ2 系列モデルによる文脈に依存する埋め込みは、従来の文脈に依存しない埋め込みと比較して、予測タスクでどのように優れているか？
• RQ3 Dolores埋め込みは、既存の知識グラフ予測モデルの性能をどの程度向上できるか？
• RQ4 どの種類の関係やエンティティが文脈に依存する表現によって最も恩恵を受けるか？
• RQ5 深層モデルからの多層表現は、知識グラフタスクにおけるトランスファーラーニングに効果的に活用できるか？

主な発見

• Dolores は、TransE などのベースラインモデルと比較して、リンク予測の性能を最大9.5%向上させる。特に、food, user, olympics などの特定の関係タイプで顕著な向上が見られる。
• Lou Costello や Cabaret などの特定のヘッドエンティティを有する三項組では、Dolores は TransE よりも顕著に優れた平均順位を達成し、エンティティ固有の文脈をより優れた形でモデル化していることが示された。
• 「common」、「base」、または「media_common」のような広範かつ一般的な関係では、正しく尾となるエンティティを予測することが困難なため、モデルの性能が最も低くなる。これは、特徴の差が明確でないためである。
• 文脈に依存する埋め込みは、国籍（例：オーストリア人、ドイツ人）や居住地（例：ウィーン）に基づいてエンティティを効果的にクラスタリングし、ベートーベンとブラームスをドイツ人およびオーストリア人音楽家の中間に適切に配置している。
• 複数のLSTM層からの深層的で階層的な表現は、抽象度の異なるレベルの情報を捉えており、浅いモデルに比べてより豊かなモデリングを可能にしている。
• Dolores 埋め込みは、既存のモデルへのアーキテクチャの変更なしに、ドロップイン置換としてシームレスに統合可能であり、性能向上を実現している。