[論文レビュー] HeteSpaceyWalk: A Heterogeneous Spacey Random Walk for Heterogeneous Information Network Embedding

Yu He, Yangqiu Song+4 more|arXiv (Cornell University)|Sep 7, 2019

Internet Traffic Analysis and Secure E-voting参考文献 42被引用数 12

ひとこと要約

本稿では、メタパスに従うランダムウォークを高階マルコフ連鎖としてモデル化し、定常分布の近似を改善する、異種情報ネットワークのための非定常的空間的ランダムウォークである HeteSpaceyWalk を提案する。折りたたみメタパス間の遷移を動的に調整することで、スケーラブルかつ効果的なノード埋め込みが可能となり、ネットワークサイズに線形に増加する時間計算量と短いウォーク長で、最先端の手法を上回る性能を達成する。

ABSTRACT

Heterogeneous information network (HIN) embedding has gained increasing interests recently. However, the current way of random-walk based HIN embedding methods have paid few attention to the higher-order Markov chain nature of meta-path guided random walks, especially to the stationarity issue. In this paper, we systematically formalize the meta-path guided random walk as a higher-order Markov chain process, and present a heterogeneous personalized spacey random walk to efficiently and effectively attain the expected stationary distribution among nodes. Then we propose a generalized scalable framework to leverage the heterogeneous personalized spacey random walk to learn embeddings for multiple types of nodes in an HIN guided by a meta-path, a meta-graph, and a meta-schema respectively. We conduct extensive experiments in several heterogeneous networks and demonstrate that our methods substantially outperform the existing state-of-the-art network embedding algorithms.

研究の動機と目的

• 既存の HIN 埋め込み手法において、メタパスに従うランダムウォークの高階マルコフ連鎖の性質に十分な注目が払われていないという問題に取り組むこと。
• より良いノード表現学習のため、異種ネットワークのランダムウォークにおける定常分布近似の精度を向上させること。
• メタパスからメタグラフやメタスキーマへ一般化可能なスケーラブルなフレームワークを構築し、柔軟で原理的根拠のある埋め込み学習を実現すること。
• 大規模な異種情報ネットワークに適した、線形時間の埋め込み学習を可能にすること。

提案手法

• 本稿では、メタパスに従うランダムウォークを高階マルコフ連鎖として形式化し、遷移確率が直前の状態に依存すること（例：APVPA における最初の「Paper」と2番目の「Paper」の区別）を認識する。
• 本稿では、余分な遷移をスキップ可能で、複数の折りたたみメタパスを動的にバランスさせる非マルコフ連鎖の空間的ランダムウォーク戦略、HeteSpaceyWalk を導入する。
• 元のメタパスを折りたたんで一般化されたメタグラフを構築し、複数のパスバリエーションを統合した統一されたウォークプロセスを実現する。
• ウォーク中に自己調整確率メカニズムを採用し、より情報量が多いか頻度の高いメタパス・セグメントを優遇することで、探索効率を向上させる。
• フレームワークはメタグラフおよびメタスキーマへ拡張可能であり、複数の意味的パターンを同時にガイドとして埋め込み学習を可能にする。
• ノード埋め込みは、ウォークシーケンス上で Skipgram モデルを用いて学習し、ノード数に線形に増加する学習計算量であり、word2vec と同様に並列化可能である。

実験結果

リサーチクエスチョン

• RQ1 メタパスに従うランダムウォークの高階マルコフ連鎖の性質を、定常分布近似の向上に寄与する形で形式的にモデル化するにはどうすればよいか？
• RQ2 空間的ランダムウォーク戦略は、異種情報ネットワークにおける近隣ノードサンプリングの効率性と有効性を向上させることができるか？
• RQ3 複数のメタパスを、埋め込み品質の向上に寄与する単一のウォークプロセスに動的に統合・バランスさせるにはどうすればよいか？
• RQ4 提案手法は、ネットワークサイズに線形にスケーリング可能であり、既存の最先端 HIN 埋め込みモデルと同等またはそれ以上の性能を維持・向上させることができるか？

主な発見

• HeteSpaceyWalk は、複数の異種ネットワークベンチマークで、既存の最先端 HIN 埋め込みアルゴリズムを上回る優れた性能を達成した。
• より良い結果を得るために、著しく少ないウォークステップ数と短いウォーク長で済むことから、サンプリング効率の向上が示された。
• 提案されたフレームワークは、ノード数に対して線形時間計算量を示し、最大 1000 万ノードのネットワークに対してもスケーラブルであることが確認された。
• 合成ネットワークを用いた実験により、ランダムウォークフェーズおよび学習フェーズの両方において線形スケーラビリティが確認され、ネットワークサイズが変化しても一貫した性能を示した。
• ウォーク中にメタパス確率を動的に自己調整することで、ネットワーク内での意味的に重要なパスの探索がより効果的に行えるようになった。