[論文レビュー] Walk this Way! Entity Walks and Property Walks for RDF2vec

Jan Portisch, Heiko Paulheim|arXiv (Cornell University)|Apr 5, 2022

Semantic Web and Ontologies被引用数 5

ひとこと要約

本論文は、RDF2vecにおける構造的類似性と文脈的関連性を分離するための2つの新しいウォーク戦略、e-walks（エンティティウォーク）とp-walks（プロパティウォーク）を導入する。焦点エンティティの周囲のエンティティ列や述語を分離することで、類似性（p-walks）や関連性（e-walks）をよりよく捉えた埋め込みを実現する。e-walksはエンティティ関連性タスクで他の手法を上回り、p-walksは文書類似性タスクで優れた性能を示す。特に順序を考慮した学習と組み合わせると顕著な向上が得られる。

ABSTRACT

RDF2vec is a knowledge graph embedding mechanism which first extracts sequences from knowledge graphs by performing random walks, then feeds those into the word embedding algorithm word2vec for computing vector representations for entities. In this poster, we introduce two new flavors of walk extraction coined e-walks and p-walks, which put an emphasis on the structure or the neighborhood of an entity respectively, and thereby allow for creating embeddings which focus on similarity or relatedness. By combining the walk strategies with order-aware and classic RDF2vec, as well as CBOW and skip-gram word2vec embeddings, we conduct a preliminary evaluation with a total of 12 RDF2vec variants.

研究の動機と目的

• RDF2vecが類似性と関連性を混同するという限界を解消するため、専用のウォーク戦略を導入すること。
• 構造的類似性（p-walks）を強調するか、文脈的関連性（e-walks）を強調する埋め込みを可能にすること。
• 順序を考慮した学習と古典的word2vec学習を組み合わせたウォークバリアントの下流タスクにおける性能を評価すること。
• e-walksとp-walksが、特定の意味的関係をよりよく反映する埋め込みを生成できるかどうかを検証すること。

提案手法

• e-walksは、ランダムウォークから得られるエンティティの列で、焦点エンティティとその近隣のみを保持し、文脈的関連性を強調する。
• p-walksは、焦点エンティティに接続する述語（関係）の列であり、構造的類似性を強調する。
• ウォークは固定された4ホップの深さで抽出され、1エンティティあたり500件のウォークが生成され、シーケンスはCBOWまたはスキップグラムのword2vecモデルに供給される。
• 古典的および順序を考慮したword2vecの両方のバリアントが使用され、埋め込みは200次元で学習される。
• 実装にはjRDF2Vecフレームワークが用いられ、すべてのモデルはKGvec2goを通じて公開されている。
• 評価には20のタスク（分類、クラスタリング、回帰、類似語アナロジー、エンティティ関連性、文書類似性など）を含む標準化されたベンチマークが使用される。

実験結果

リサーチクエスチョン

• RQ1 e-walksとp-walksは、古典的RDF2vecと比較して、それぞれ関連性と類似性をよりよく反映する埋め込みを生成できるか？
• RQ2 e-walksやp-walksを順序を考慮したword2vecと組み合わせることで、下流タスクの性能が向上するか？
• RQ3 どのタスクでe-walksが古典的ウォークを上回り、どのタスクでp-walksが優れた性能を示すか？
• RQ4 類似性と関連性の両方を要請する意味的アナロジータスクにおいて、異なるウォーク戦略はどのように比較されるか？

主な発見

• e-RDF2vecはエンティティ関連性タスクで最高の性能を示し、Kendall Tauが0.832に達し、古典的RDF2vec（0.747）を顕著に上回った。
• p-RDF2vecは文書類似性タスクで最高の調和平均スコア（0.382）を記録し、構造的類似性の捉え込みが優れていた。
• 意味的アナロジーにおいては、スキップグラムと順序を考慮した学習を組み合わせた古典的RDF2vecが最良の性能（ACC 0.905）を示したが、e-walksとp-walksは、それぞれの次元に特化しているため、期待通りに性能が低かった。
• 順序を考慮した学習は、すべてのウォークタイプにおいて古典的学習を上回り、特にe-walksとp-walksでは、古典的RDF2vecよりもやや強い効果が見られた。
• スコアの上昇は、すべての構成においてスキップグラムがCBOWを上回ったが、特に関連性およびクラスタリングタスクで顕著であった。
• 20のタスクのうち12で古典的RDF2vecが最高の結果を出したが、e-walksとp-walksは、それぞれ関連性タスクと構造的類似性タスクにおいて顕著な特化性能を示した。