[論文レビュー] KGvec2go -- Knowledge Graph Embeddings as a Service

Jan Portisch, Michael Hladik+1 more|arXiv (Cornell University)|Mar 9, 2020

Advanced Graph Neural Networks参考文献 27被引用数 7

ひとこと要約

KGvec2go は、RDF2Vec を用いて、DBpedia、WebIsALOD、Wiktionary、WordNet の4つの主要な知識グラフから事前学習済みの知識グラフ埋め込みをオンデマンドで提供する軽量な Web API サービスです。このサービスにより、下流のアプリケーションで効率的かつリソース消費が少ない形で意味的ベクトルを利用でき、評価の結果、複数の知識グラフからの埋め込みを組み合わせることで、意味的類似度ベンチマークで個々のモデルを上回る性能が得られました。

ABSTRACT

In this paper, we present KGvec2go, a Web API for accessing and consuming graph embeddings in a light-weight fashion in downstream applications. Currently, we serve pre-trained embeddings for four knowledge graphs. We introduce the service and its usage, and we show further that the trained models have semantic value by evaluating them on multiple semantic benchmarks. The evaluation also reveals that the combination of multiple models can lead to a better outcome than the best individual model.

研究の動機と目的

• 完全なモデルのダウンロードやローカルでの学習を必要とせずに、事前学習済みの知識グラフ埋め込みへの効率的でオンデマンドのアクセスを可能にすること。
• モバイルデバイスやデータサイエンスワークフローなどリソース制限のある環境における知識グラフ埋め込みの軽量統合を支援すること。
• 標準ベンチマーク上で、多様な知識グラフからの埋め込みの意味的品質を評価すること。
• 複数の知識グラフからの埋め込みを組み合わせることで、意味的タスクにおける性能向上の可能性を調査すること。
• 研究者や実務家が知識グラフ埋め込みをサービスとして利用できるスケーラブルでアクセスしやすいサービスを提供すること。

提案手法

• DBpedia、WebIsALOD、Wiktionary、WordNet の4つの異なる知識グラフ上で、RDF2Vec アルゴリズムを用いて知識グラフ埋め込みを学習すること。
• 各ノードから、データ型プロパティを除いた文のようなウォークを生成し、word2vec 学習用のコーパスを構築すること。
• word2vec における連続的袋（CBOW）およびスキップグラムモデルを適用し、エンティティおよび関係の密なベクトル表現を学習すること。
• RESTful Web API を通じて学習済みの埋め込みを公開し、特定のコンセプトのベクトル表現や類似度スコアを照会可能にすること。
• 軽量な HTTP リクエストを通じて、個々のコンセプトの取得とペアワイズ類似度計算の両方をサポートすること。
• 複数の知識グラフ埋め込みからの類似度スコアを重み付き平均化して、ベンチマークタスクにおける性能を向上させること。

実験結果

リサーチクエスチョン

• RQ1 Web API サービスが、完全なモデルのダウンロードを必要とせずに、事前学習済みの知識グラフ埋め込みへの効率的でオンデマンドのアクセスを提供できるか？
• RQ2 編集済みから自動生成まで多様な知識グラフで学習された埋め込みが、意味的な情報を的確に保持しているか？
• RQ3 複数の知識グラフからの埋め込みを組み合わせることで、意味的類似度ベンチマークで最良の個別モデルを上回る性能が得られるか？
• RQ4 標準的な意味的評価データセット上で、異なる知識グラフからの埋め込みは性能面でどのように比較できるか？
• RQ5 リソース制限のある環境やモバイル環境における実世界のアプリケーションにおいて、軽量で API ベースの埋め込みアクセスはどの程度有効に機能するか？

主な発見

• KGvec2go API は、単純な HTTP リクエストにより、計算およびメモリのオーバーヘッドを低減しながら、事前学習済みの知識グラフ埋め込みへのオンデマンドで軽量なアクセスを実現しました。
• DBpedia、WebIsALOD、Wiktionary、WordNet の4つの知識グラフからの埋め込みすべてが、標準ベンチマークでの顕著なランク相関により意味的関連性を示しました。
• WS-353 ベンチマークでは、組み合わせ埋め込みモデルがスピアマン相関 ρ = 0.678 を達成し、最良の個別モデル（ρ = 0.571）を上回りました。
• MEN ベンチマークでは、組み合わせモデルが ρ = 0.230 を達成し、最良の個別モデル（ρ = 0.207）を上回り、アンサンブル結合による性能向上が示されました。
• SimLex-999 では、組み合わせモデルが ρ = 0.2815 を達成し、最良の個別モデル（WordNet、ρ = 0.2870）に非常に近い性能を示し、類似度タスクへの強力な一般化能力を示しました。
• 結果から、埋め込みでは類似度よりも関連性がよりよく捉えられていることが示され、類似度に特化した学習目的が欠如していることから、予想通りの結果となりました。