[論文レビュー] Heterogeneous Information Network Embedding for Meta Path based Proximity

Zhipeng Huang, Nikos Mamoulis|arXiv (Cornell University)|Jan 19, 2017

Internet Traffic Analysis and Secure E-voting参考文献 32被引用数 98

ひとこと要約

HINEは異種情報ネットワークの低次元埋め込みを学習し、メタパスに基づく近接性（PathCountまたはPCRW）を保持する。複数のタスクでLINEとDeepWalkを上回る。

ABSTRACT

A network embedding is a representation of a large graph in a low-dimensional space, where vertices are modeled as vectors. The objective of a good embedding is to preserve the proximity between vertices in the original graph. This way, typical search and mining methods can be applied in the embedded space with the help of off-the-shelf multidimensional indexing approaches. Existing network embedding techniques focus on homogeneous networks, where all vertices are considered to belong to a single class.

研究の動機と目的

• メタパス近接性によって捉えられる意味論を保持するようにHINの埋め込みを動機付ける。
• 実測のメタパス近接性と埋め込み空間の近接性との距離を最小化する目的を定義する。
• 最適化を高速化するための負サンプリングを用いたスケーラブルな訓練手法を提案する。
• リンク回復、分類、クラスタリング、k-NN検索、可視化などのタスクで有効性を示す。

提案手法

• 長さlまでのメタパスのインスタンスの和として、メタパスに基づく近接性 s(.,.) を定義する（PathCountまたはPCRWの定義）。
• 動的計画法を用いて各ペアの切り詰められた近接行列を計算する（アルゴリズム1）。
• R^d 内のベクトル v_i を学習して p(o_i,o_j)=1/(1+e^{-v_i v_j}) をモデル化し、経験的近接性へのKLダイバージェンスを最小化する。
• 目的関数を近似するために負サンプリングを使用し、ASGDで最適化する。
• 近接度の指標として PCRW または PathCount を考慮し、実験では PCRW が一般に PathCount を上回る。

実験結果

リサーチクエスチョン

• RQ1 メタパスに基づく近接性を低次元空間に保持するようにHINを埋め込むにはどうすればよいか。
• RQ2 近接度指標としてPCRWとPathCountを用いた場合の埋め込み品質への影響はどうなるか。
• RQ3 負サンプリングとASGDは単純解を回避しつつスケーラブルな最適化を実現できるか。
• RQ4 実データセット上でのネットワーク回復、分類、クラスタリング、k-NN検索、可視化タスクにおけるHINE埋め込みの性能はどうか。

主な発見

• PCRWを用いたHINEは複数のエッジタイプとデータセットにおいてネットワーク回復で最高の性能を達成する。
• HINE_PCRWは分類と可視化タスクで一貫してHINE_PCおよび他のベースライン（DeepWalk, LINE）を上回る。
• データセット全体（DBLP, MOVIE, YELP, GAME）において、HINE_PCRWは分類のMacro/F1および Micro/F1スコアが高く、クラスタリングのNMIも高いことが多い。
• 負サンプリングとASGDはスケーラブルな最適化を可能にし、単純解のリスクを緩和し計算コストを削減する。
• k-NNおよびトップkリストの品質について、HINE_PCRWはベースラインよりも元のHINに近いトップkリストを生成する（Spearman/Kendall指標で示される）。