[論文レビュー] Meta-Path Guided Embedding for Similarity Search in Large-Scale Heterogeneous Information Networks

Jingbo Shang, Meng Qu+4 more|arXiv (Cornell University)|Oct 31, 2016

Advanced Graph Neural Networks参考文献 33被引用数 115

ひとこと要約

ESim は、ユーザー指定のメタパスに導かれた頂点埋め込みを学習し、大規模な異種情報ネットワーク(HIN)での類似検索を効率化するスケーラブルなサンプリングベースの最適化フレームワークを提供します。最先端手法を上回り、巨大な HIN へとスケールします。

ABSTRACT

Most real-world data can be modeled as heterogeneous information networks (HINs) consisting of vertices of multiple types and their relationships. Search for similar vertices of the same type in large HINs, such as bibliographic networks and business-review networks, is a fundamental problem with broad applications. Although similarity search in HINs has been studied previously, most existing approaches neither explore rich semantic information embedded in the network structures nor take user's preference as a guidance. In this paper, we re-examine similarity search in HINs and propose a novel embedding-based framework. It models vertices as low-dimensional vectors to explore network structure-embedded similarity. To accommodate user preferences at defining similarity semantics, our proposed framework, ESim, accepts user-defined meta-paths as guidance to learn vertex vectors in a user-preferred embedding space. Moreover, an efficient and parallel sampling-based optimization algorithm has been developed to learn embeddings in large-scale HINs. Extensive experiments on real-world large-scale HINs demonstrate a significant improvement on the effectiveness of ESim over several state-of-the-art algorithms as well as its scalability.

研究の動機と目的

• 異種情報ネットワーク(HIN)における類似検索を動機づけ、ユーザー導入型メタパスを通じて豊富な意味を捉える。
• メタパスの意味と整合するLow-dimensionベクトルとして頂点を表現する埋め込みベースのフレームワークを提案する。
• 大規模 HIN で埋め込みを訓練するためのスケーラブルなサンプリングベースの最適化アルゴリズムを開発する。
• 学習済み埋め込みのコサイン類似度を用いてオンライン類似検索を可能にする。
• ESim を最先端手法と比較し、実世界の HIN でのスケーラビリティと有効性を実証する。

提案手法

• ユーザー指定のメタパス M に従うパスインスタンスの共起を最大化することで HIN 構造を保持する確率的埋め込みモデルを導入する。
• スコアリング関数 f(u,v,M) = μ_M + p_M^T x_u + q_M^T x_v + x_u^T x_v を用いてメタパス意味を符号化し、f(u,v,M) のソフトマックスを介して Pr(v|u,M) を計算する。
• 観測されたパスインスタンスとノイズサンプルを区別することで埋め込みを効率的に訓練するために Noise-Contrastive Estimation (NCE) を採用する。
• シーケンシャル (seq) とペアワイズ (pair) の2つのパス定義オプションを検討し、ペアワイズの方がより効果的であると報告する。
• 確率的勾配降下法と並列化（Hogwild）によるオンライン学習を実施し、スケーラビリティを確保する。オンラインクエリには正規化された埋め込みのコサイン類似度を使用する。
• M に従うパスインスタンスの定常時間サンプリングを可能にするため、C(u,i|M) の動的計画法に基づく事前計算を開発する。
• 重み付き組み合わせの複数メタパスを任意でサポートする場合、各ロス関数を重み付きで合成して和をとることも可能とする。

実験結果

リサーチクエスチョン

• RQ1 ユーザー導入型メタパスをどのように埋め込みフレームワークに組み込み、HIN における意味的類似性を定義できるか。
• RQ2 サンプリングベースの埋め込み駆動アプローチは、従来のメタパスベースの類似度測定（例: PathSim）や同質ネットワークの埋め込みを、大規模 HIN において上回ることができるか。
• RQ3 非常に大規模な HIN でスケーラブルな訓練と迅速なオンライン類似クエリを可能にするアルゴリズムとデータ構造は何か。
• RQ4 メタパスの指示を取り入れることは、DBLP や Yelp のような多様な実世界データセットでの類似検索品質を改善するか。

主な発見

• 提案された ESim フレームワークは、いくつかの最先端手法に対して有効性の大幅な改善を達成した。
• ESim は新規のサンプリングベースの最適化と並列訓練フレームワークを通じて大規模な HIN へとスケールする。
• 効率的な事前計算とオンラインサンプリングにより、各イテレーション内で定数時間のパスインスタンスサンプリングが可能。
• 学習済み埋め込みのコサイン類似度は、近似最近傍探索による高速なオンライントップ-k 類似クエリをサポートする。
• 実世界の HIN（DBLP と Yelp）での実験はこのアプローチを検証し、スケーラビリティを実証する。