[論文レビュー] Concept2vec: Metrics for Evaluating Quality of Embeddings for Ontological Concepts

Faisal Alshargi, Saeedeh Shekarpour+2 more|arXiv (Cornell University)|Mar 12, 2018

Advanced Graph Neural Networks参考文献 26被引用数 8

ひとこと要約

本稿では、知識グラフ内の概念の埋め込みの質を評価するための体系的で内生的（intrinsic）な評価フレームワークを提案する。主な焦点は分類、階層構造、関係的構造に向けられている。3つの別個のタスクとそれに特化したメトリクスを導入し、実験により、どのモデルも全般的に優れているわけではないことが示された。GloVe（Wikipediaで学習）は関係的タスクで他を上回ったが、モデルやデータソースによって性能に顕著な差が見られた。

ABSTRACT

Although there is an emerging trend towards generating embeddings for primarily unstructured data and, recently, for structured data, no systematic suite for measuring the quality of embeddings has been proposed yet. This deficiency is further sensed with respect to embeddings generated for structured data because there are no concrete evaluation metrics measuring the quality of the encoded structure as well as semantic patterns in the embedding space. In this paper, we introduce a framework containing three distinct tasks concerned with the individual aspects of ontological concepts: (i) the categorization aspect, (ii) the hierarchical aspect, and (iii) the relational aspect. Then, in the scope of each task, a number of intrinsic metrics are proposed for evaluating the quality of the embeddings. Furthermore, w.r.t. this framework, multiple experimental studies were run to compare the quality of the available embedding models. Employing this framework in future research can reduce misjudgment and provide greater insight about quality comparisons of embeddings for ontological concepts. We positioned our sampled data and code at https://github.com/alshargi/Concept2vec under GNU General Public License v3.0.

研究の動機と目的

• 知識グラフにおける概念の埋め込みのための体系的で内生的な評価手法の不足に応えること。
• 概念の埋め込みの意味的・構造的・関係的特性を捉える包括的な評価フレームワークを構築すること。
• DBpedia および Wikipedia の両方のコーパスで学習された代表的な埋め込みモデル（skip-gram, CBOW, GloVe）の、概念表現としての性能を比較すること。
• 研究者が公平で一貫性のある埋め込みモデルの品質比較を可能にするために、再利用可能なメトリクスとコードを提供すること。
• 階層構造や関係性といった、概念のオントロジー的特徴を表現する際の、モデル固有の強みと限界を特定すること。

提案手法

• 3つの評価タスクを提案：(i) 分類、(ii) 階層的構造、(iii) 埋め込みにおける関係的パターン。
• 各タスクに対して、意味的類似度とベクトル演算に基づく内生的メトリクスを定義。関係的タスクではコサイン類似度を用いて遷移距離を評価。
• 遷移距離メトリクスとして、Tr(c_i + p_i, c_j) = s(V_c_i + V_p_i, V_c_j) を用い、ドメイン概念とプロパティのベクトル和が範囲概念の埋め込みに近いかどうかを評価。
• 関係性の一貫性をテストするために、ドメインおよび範囲概念が既知の12種類のDBpediaオブジェクトプロパティをカレッジドセットとして使用。
• WikipediaおよびDBpediaコーパス上で複数の埋め込みモデル（skip-gram, CBOW, GloVe）を学習・評価。
• データセットおよびコードをGNU GPL v3.0の下で公開し、再現性とコミュニティ利用を促進。

実験結果

リサーチクエスチョン

• RQ1 どの埋め込みモデルが埋め込み空間において概念の分類を最もよく保持しているか？
• RQ2 埋め込みモデルは概念間の階層的関係をどの程度正しく捉えているか？
• RQ3 埋め込みモデルは、特にプロパティベースの遷移に関して、知識グラフの関係的構造をどの程度反映しているか？
• RQ4 構造化された知識グラフ（例：DBpedia）で学習した場合と、非構造化テキスト（例：Wikipedia）で学習した場合とでは、どちらの埋め込みが優れているか？
• RQ5 異なるオントロジー的要因（分類、階層、関係性）に対して、モデル間で一貫した性能差が見られるか？

主な発見

• GloVe（Wikipediaで学習）は関係的タスクで他を上回り、'largestCountry'関係では0.878の遷移距離スコアを達成した。
• 'officialLanguage'関係ではGloVe（Wikipedia）が最も高いスコア（0.721）を記録し、関係的一般化能力が優れていることが示された。
• どのモデルも全タスクで優れているわけではない：skip-gramは分類タスクで最良の性能を示し、CBOWおよびGloVeは階層的評価でより優れた結果を示した。
• 予想に反し、DBpediaで学習した埋め込みはWikipediaで学習した埋め込みを一貫して上回ってはおらず、データ量の大きさやモデルの限界により、オントロジー的構造を十分に捉えられていない可能性がある。
• RDF2VecおよびRDF(GloVe)手法は、概念・プロパティ・インスタンスを区別する能力に欠けており、オントロジー的特徴の表現が最適でないことが分かった。
• 結果から、意味的・構造的・関係的特性を完全に捉えるには、複数のモデルの埋め込みを統合する必要がある可能性が示唆された。