[論文レビュー] motif2vec: Motif Aware Node Representation Learning for Heterogeneous Networks

Manoj Reddy Dareddy, Mahashweta Das+1 more|arXiv (Cornell University)|Aug 22, 2019

Advanced Graph Neural Networks参考文献 31被引用数 8

ひとこと要約

motif2vec は、統計的に有意なネットワークモチーフを活用して、元のグラフをモチーフグラフに変換することで、異種情報ネットワークにおけるノード表現学習の新規な手法を提案する。これにより、異種性と高次結合性を保持するバイアス付きランダムウォークが可能となり、多様な実世界のデータセットにおいて、ノード分類およびリンク予測のタスクで最先端の手法を上回る性能を発揮する。構造的および意味的関係を効果的に捉えることができる。

ABSTRACT

Recent years have witnessed a surge of interest in machine learning on graphs and networks with applications ranging from vehicular network design to IoT traffic management to social network recommendations. Supervised machine learning tasks in networks such as node classification and link prediction require us to perform feature engineering that is known and agreed to be the key to success in applied machine learning. Research efforts dedicated to representation learning, especially representation learning using deep learning, has shown us ways to automatically learn relevant features from vast amounts of potentially noisy, raw data. However, most of the methods are not adequate to handle heterogeneous information networks which pretty much represents most real-world data today. The methods cannot preserve the structure and semantic of multiple types of nodes and links well enough, capture higher-order heterogeneous connectivity patterns, and ensure coverage of nodes for which representations are generated. We propose a novel efficient algorithm, motif2vec that learns node representations or embeddings for heterogeneous networks. Specifically, we leverage higher-order, recurring, and statistically significant network connectivity patterns in the form of motifs to transform the original graph to motif graph(s), conduct biased random walk to efficiently explore higher order neighborhoods, and then employ heterogeneous skip-gram model to generate the embeddings. Unlike previous efforts that uses different graph meta-structures to guide the random walk, we use graph motifs to transform the original network and preserve the heterogeneity. We evaluate the proposed algorithm on multiple real-world networks from diverse domains and against existing state-of-the-art methods on multi-class node classification and link prediction tasks, and demonstrate its consistent superiority over prior work.

研究の動機と目的

• 既存のグラフ埋め込み手法が、構造的および意味的異種性を十分に保持できないという限界に対処する。
• 単純なパスやメタ構造を超えて、異種情報ネットワーク（HIN）における高次結合性パターンを捉える、効率的で教師なしの表現学習フレームワークを開発する。
• 再発する統計的に有意なネットワークモチーフを埋め込み空間における構造的不変量として符号化することで、ノード分類およびリンク予測の性能を向上させる。
• 異種ネットワークにおける複数のノード型およびリンク型にわたる、局所的およびグローバルな構造的関係と意味的相関を保持する。
• 事前に定義されたメタ構造やタスク固有のヒューリスティクスに依存しない、スケーラブルで汎用性の高い手法を提供する。

提案手法

• 再発する統計的に有意なネットワークモチーフ（ランダマイズドネットワークよりも頻繁に出現する、小さな連結部分グラフ）を抽出することで、元の異種ネットワークを1つ以上のモチーフグラフに変換する。
• 有意性の閾値を用いてランダムなパターンを除外するため、ヒューリスティックに基づくモチーフインスタンス抽出手法を適用して、ネットワークからのモチーフインスタンスを特定・抽出する。
• モチーフグラフ上でバイアス付きランダムウォークを実行し、高次近傍を探索する。遷移確率はモチーフ構造に従い、意味的および構造的文脈を保持する。
• 異種スキップグラムモデルを用いて、ランダムウォークのシーケンスから低次元ノード埋め込みを学習し、ノードタイプとモチーフに基づく結合性パターンの両方を保持する。
• モチーフに配慮したウォークバイアスとスキーップグラム学習を統合し、異種ノードタイプにわたる構造的近接性と意味的整合性を同時に最適化する。
• モチーフグラフを、従来のメタパスのようなメタ構造よりも豊かな意味的およびトポロジカル情報を符号化する構造的抽象化層として活用する。

実験結果

リサーチクエスチョン

• RQ1 モチーフに基づく構造的抽象化は、従来のメタ構造ベースの手法と比較して、異種ネットワークにおけるノード表現学習を改善できるか？
• RQ2 モチーフに配慮したランダムウォークは、異種ネットワークにおける局所的およびグローバルな構造的関係をどの程度効果的に保持できるか？
• RQ3 モチーフベースの埋め込みは、多クラスノード分類およびリンク予測タスクにおいて、最先端の手法をどの程度上回るか？
• RQ4 motif2vec は、タスク固有のチューニングや事前に定義されたメタ構造がなくても、多様な実世界の異種ネットワークに一般化可能か？
• RQ5 統計的に有意なモチーフの使用は、学習されたノード表現における意味的および構造的忠実性をどの程度向上させるか？

主な発見

• motif2vec は、多様な実世界の異種ネットワークにおいて、メタパス2vec やメタグラフ2vec などの最先端手法を一貫して上回る性能を示した。
• リンク予測の精度が著しく向上し、二項関係を超えた高次結合性パターンのモデリングが強化された。
• モチーフグラフの使用により、構造的および意味的異種性のより良い保持が可能となり、より情報量が多く、判別力に優れたノード埋め込みが得られた。
• アルゴリズムは効率的にスケーリングされ、大規模な実世界ネットワークでもエンドツーエンドの学習時間が10時間未満で収まり、その大部分（7時間42分）は word2vec 学習、26分はモチーフ抽出に費やされている。
• 複雑で多様なタイプの相互作用を有するネットワークでは、従来の手法が豊かな結合性の意味を捉えきれない場合が多く、そのような状況で本手法の性能向上が顕著に現れた。
• アブレーションスタディの結果、モチーフベースの変換とバイアス付きランダムウォークが不可欠な要素であることが確認され、両方を除去すると性能が著しく低下した。