[論文レビュー] Entity Type Prediction in Knowledge Graphs using Embeddings

Russa Biswas, Radina Sofronova+2 more|arXiv (Cornell University)|Apr 28, 2020

Advanced Graph Neural Networks参考文献 13被引用数 4

ひとこと要約

本稿では、構造的およびテキスト的情報を統合したKG埋め込みを用いて、知識グラフにおける微細なエンティティタイプ予測のためのマルチラベル分類アプローチを提案する。事前学習済みの単語埋め込み（Word2Vec、FastText、GloVe）とCNN分類器を活用することで、ベクトル類似度ベースラインよりも高い精度を達成し、4,000エンティティ/クラスのデータセットにおいてHits@3が62%に達する。これは、エンリッチされた埋め込みに対するディープラーニングの有効性を示している。

ABSTRACT

Open Knowledge Graphs (such as DBpedia, Wikidata, YAGO) have been recognized as the backbone of diverse applications in the field of data mining and information retrieval. Hence, the completeness and correctness of the Knowledge Graphs (KGs) are vital. Most of these KGs are mostly created either via an automated information extraction from Wikipedia snapshots or information accumulation provided by the users or using heuristics. However, it has been observed that the type information of these KGs is often noisy, incomplete, and incorrect. To deal with this problem a multi-label classification approach is proposed in this work for entity typing using KG embeddings. We compare our approach with the current state-of-the-art type prediction method and report on experiments with the KGs.

研究の動機と目的

• DBpediaのようなオープンな知識グラフにおける不完全でノイズの多いタイプ情報の問題に対処すること。
• KGからの構造的および暗黙のテキスト的意味情報を統合することで、エンティティタイプ予測の精度を向上させること。
• 事前学習済みの単語埋め込みモデル（Word2Vec、FastText、GloVe）がエンティティタイプ予測の文脈でどのように機能するかを評価すること。
• KG埋め込みを用いたディープラーニング（CNN）によるマルチラベル分類フレームワークを構築し、微細なタイプ予測を実現すること。

提案手法

• エンティティおよび関係のベクトルは、KGトリプルを文として扱い、事前学習済みの単語埋め込みモデル（Word2Vec、FastText、GloVe）を適用することで学習される。
• モデルはエンティティタイプをマルチラベル分類問題として扱い、各エンティティに複数の微細なタイプが割り当てられる。
• 畳み込みニューラルネットワーク（CNN）が、エンティティの埋め込みベクトルを学習し、各エンティティの正しいタイプの集合を予測する。
• クラスの意味を表現するために、集合論の原則に従い、各クラスに属するすべてのエンティティの埋め込みベクトルの平均値からクラスベクトルが生成される。
• ベクトル類似度がベースラインとして用いられ、エンティティベクトルとクラスベクトルのコサイン類似度が比較される。
• 本手法はDBpediaのクラス階層を活用し、粗いタイプから細かいタイプへとたどり、予測に必要なサブクラスを抽出する。

実験結果

リサーチクエスチョン

• RQ1 従来の類似度ベースの手法と比較して、事前学習済みの単語埋め込みとKG構造を組み合わせることで、微細なエンティティタイプ予測が向上するか？
• RQ2 異なる単語埋め込みモデル（Word2Vec、FastText、GloVe）は、知識グラフ内でのエンティティタイプ予測の文脈で、どのように性能を発揮するか？
• RQ3 CNNのようなディープラーニングモデルは、同時に複数のエンティティタイプを予測する際、単純なベクトル類似度を上回るか？
• RQ4 データセットのサイズ（クラスごとのエンティティ数）は、提案手法の性能にどのように影響するか？
• RQ5 学習された埋め込みは、グラフ構造を越えて、暗黙のテキスト的意味をどれほど捉えているか？

主な発見

• CNNモデルは最高のパフォーマンスを示し、4,000エンティティ/クラスのデータセットにおいて62%のHits@3を達成し、ベクトル類似度ベースラインを上回った。
• 2,000エンティティ/クラスの86クラスデータセットでは、Word2Vecを用いたCNNが58.4%のHits@3を達成し、ベクトル類似度ベースラインの50.0%を顕著に上回った。
• GloVeベクトルは相互類似度が低かったが、GloVe埋め込みを用いたCNNモデルは、最大のデータセットにおいても55.8%のHits@3を達成し、埋め込み品質にかかわらず頑健であることが示された。
• データセットが大きくなるにつれて性能が向上し、4,000エンティティ/クラスのデータセットでは58%のHits@3を達成したのに対し、2,000クラスデータセットでは58%であった。
• Word2Vecを用いたベクトル類似度ベースラインは、86クラスデータセットで56%のHits@3を達成し、競争力は示したが、CNNアプローチに劣っていた。
• テストセットの26%～34%程度のエンティティがSDTypedデータセットと重複しており、直接比較が制限されていたが、重複するサブセットでは、提案手法が共有エンティティにおいてSDTypedを上回った。