[論文レビュー] RDF2Vec Light -- A Lightweight Approach for Knowledge Graph Embeddings

Jan Portisch, Michael Hladik+1 more|arXiv (Cornell University)|Sep 16, 2020

Advanced Graph Neural Networks参考文献 7被引用数 4

ひとこと要約

RDF2Vec Light は、知識グラフ全体ではなく、関心のあるエンティティのサブセットに対してのみ密なベクトル表現を生成する軽量な知識グラフ埋め込み手法である。ターゲットエンティティの周辺に局所的なランダムウォークを実行し、これらのサブグラフでのみ埋め込みを学習することで、全体の知識グラフに対する RDF2Vec と同等の性能を達成すると同時に、実行時間とハードウェア要件を桁違いに削減する。

ABSTRACT

Knowledge graph embedding approaches represent nodes and edges of graphs as mathematical vectors. Current approaches focus on embedding complete knowledge graphs, i.e. all nodes and edges. This leads to very high computational requirements on large graphs such as DBpedia or Wikidata. However, for most downstream application scenarios, only a small subset of concepts is of actual interest. In this paper, we present RDF2Vec Light, a lightweight embedding approach based on RDF2Vec which generates vectors for only a subset of entities. To that end, RDF2Vec Light only traverses and processes a subgraph of the knowledge graph. Our method allows the application of embeddings of very large knowledge graphs in scenarios where such embeddings were not possible before due to a significantly lower runtime and significantly reduced hardware requirements.

研究の動機と目的

• DBpedia や Wikidata のような大規模グラフ上で、知識グラフ全体の埋め込みを学習する際の高い計算コストとメモリオーヘッドに対処すること。
• 分類、回帰、類似度タスクなどの下流アプリケーションが、リソース制約のある環境でも知識グラフ埋め込みを活用できるようにすること。
• 全グラフを再学習することなく、タスク固有の小さなエンティティ集合に対して高品質な埋め込みを生成する手法を開発すること。
• 訓練時間とモデルサイズを削減しながら、古典的な RDF2Vec と比較して競争力のある性能を維持すること。

提案手法

• エンティティの関心対象の周囲でのみランダムウォークを生成し、各ステップで先行ノードと後続ノードを交互に切り替える双方向ウォーク戦略を用いる。
• 各関心エンティティからウォークを開始し、固定された深さまで拡張する。各ステップで、インcoming および outgoing エッジの間で移動方向をランダムに選択する。
• ウォーク生成プロセスは、関心エンティティとその到達可能な隣接ノードによって誘導されるサブグラフに限定され、知識グラフ全体を走査するのを回避する。
• ウォーク生成後、生成されたウォークに対して標準的な skip-gram または CBOW 学習を適用し、密なベクトル表現を学習する。
• 複数の RDF 形式（Turtle、n-triples、RDF/XML、HDT）をサポートし、デプロイ用に REST API を備える。
• Java および Python での実装が可能で、CPU および GPU 推論を両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ全体ではなく、関心のあるエンティティのサブセットに対して効果的に埋め込みを学習できるか。その際、性能に顕著な損失が生じないか？
• RQ2 分類や回帰などの下流タスクにおいて、局所的埋め込み手法の性能は、全グラフ RDF2Vec と比べてどの程度か？
• RQ3 エンティティの接続性（リンク度）とサブグラフの均質性が、局所的埋め込みの性能に与える影響は何か？
• RQ4 関連するサブグラフでのみ学習することで、計算コストとモデルサイズをどの程度削減できるか？
• RQ5 双方向ウォーク戦略は、単方向ウォークと比較して、関心エンティティの文脈表現をどのように改善するか？

主な発見

• RDF2Vec Light は、分類および回帰タスクにおいて、古典的な RDF2Vec と同等の性能を達成しており、訓練時間とメモリ使用量はごくわずかである。
• ドキュメントおよびエンティティの類似度タスクでは、CBOW 変種において古典的な RDF2Vec と同等の性能を示すが、SG 変種では特に密度が高くまたは異種性の高いサブグラフでは性能が劣る。
• RDF2Vec Light の性能はサブグラフ密度と強く相関しており、密度が高い（ヘッドエンティティが少ない、より均質な集合）ほど優れた結果が得られる。
• 実行時間は関心エンティティ数に比例して線形に増加し、コンsumer ハードウェアでは、10個のエンティティあたり約1分で処理可能である。これに対して、全グラフ学習は数日を要する。
• モデルサイズは劇的に削減され、通常は数キロバイト程度である。これに対して、古典的モデルは複数ギガバイトのディスク容量を必要とする。
• 本手法により、従来は不可能とされていた、全グラフ埋め込みが実行不可能であったリソース制限のある環境でも、知識グラフ埋め込みの実用的デプロイが可能になる。