[論文レビュー] RiWalk: Fast Structural Node Embedding via Role Identification

Xuewei Ma, Geng Qin+3 more|arXiv (Cornell University)|Oct 15, 2019

Advanced Graph Neural Networks参考文献 26被引用数 7

ひとこと要約

RiWalk は、構造的ノード埋め込みを高速化するための新しいフレームワークであり、役割同定とネットワーク埋め込みを分離することで、ルート付きカーネル構築により構造的依存関係を保持する。ベースラインと比較して最大10倍速いトレーニングを実現しながら、多様なネットワーク間で効果的な転移学習を可能にする。

ABSTRACT

Nodes performing different functions in a network have different roles, and these roles can be gleaned from the structure of the network. Learning latent representations for the roles of nodes helps to understand the network and to transfer knowledge across networks. However, most existing structural embedding approaches suffer from high computation and space cost or rely on heuristic feature engineering. Here we propose RiWalk, a flexible paradigm for learning structural node representations. It decouples the structural embedding problem into a role identification procedure and a network embedding procedure. Through role identification, rooted kernels with structural dependencies kept are built to better integrate network embedding methods. To demonstrate the effectiveness of RiWalk, we develop two different role identification methods named RiWalk-SP and RiWalk-WL respectively and employ random walk based network embedding methods. Experiments on within-network classification tasks show that our proposed algorithms achieve comparable performance with other baselines while being an order of magnitude more efficient. Besides, we also conduct across-network role classification tasks. The results show potential of structural embeddings in transfer learning. RiWalk is also scalable, making it capable of capturing structural roles in massive networks.

研究の動機と目的

• 既存の構造的ノード埋め込み手法が高い計算コストやヒューリスティックな特徴工学に依存するという限界を解消する。
• サイズやトポロジーが異なるネットワーク間で、構造的役割の効果的な転移学習を可能にする。
• 構造的表現学習を役割同定とネットワーク埋め込みの手順に分離することで、モularity と効率性を向上させる。
• グラフカーネルの原則と現代のネットワーク埋め込み技術を統合する柔軟なフレームワークを開発し、スケーラビリティとパフォーマンスを向上させる。
• 実世界の多様なネットワーク、インフラストラクチャネットワークやソーシャルネットワークを含め、構造的埋め込みの頑健性と一般化性能を実証する。

提案手法

• 構造的ノード埋め込みを2段階に分解する：役割同定とネットワーク埋め込み。これによりモジュラーな設計が可能になり、既存手法の再利用も可能になる。
• アーキテクチャノードの局所的サブグラフにおける構造的役割に基づいて、文脈ノードを再ラベル付けすることでルート付きカーネルを構築し、構造的依存関係を保持する。
• 2つの役割同定手法を提案：RiWalk-SP は最短経路サブ構造用に近隣ノードの次数類似性に基づく。RiWalk-WL は Weisfeiler-Lehman カーネルにインspired された近隣ノード集約を用い、細分化されたパターンを捉える。
• リラベルされたサブグラフ上で、標準的なランダムウォークベースのネットワーク埋め込み手法（例：node2vec）を適用し、構造的ノード表現を学習する。
• 構造的に同等のノードの探索を強化するために、リラベルされたグラフでバイアス付きランダムウォークを適用し、埋め込み品質を向上させる。
• 最終的な埋め込みの効率的最適化のために、ネガティブサンプリングと言語モデル学習を活用する。

Figure 1: Two nodes $a$ and $u$ residing far apart in a network have similar local topologies but totally different context nodes. However, after the role identification procedure, they have similar context and are indirectly densely connected, thus typical network embedding methods can be directly

実験結果

リサーチクエスチョン

• RQ1 役割同定とネットワーク埋め込みを分離したフレームワークは、エンドツーエンドの構造的埋め込み手法と比較して、より高い効率性とパフォーマンスを達成できるか？
• RQ2 RiWalk で学習された構造的ノード埋め込みは、サイズや種類が異なるネットワーク（例：インフラストラクチャ vs. ソーシャルネットワーク）間でどれほど一般化できるか？
• RQ3 RiWalk-SP と RiWalk-WL は、struc2vec などの最先端手法と比較して、正確性と計算効率の面でどの程度優れているか？
• RQ4 RiWalk は構造的ホールやハブといった構造的役割を効果的に捉えることができるか？また、転移学習のシナリオではどの程度の性能を示すか？
• RQ5 RiWalk は大規模ネットワークに対してどの程度スケーラブルか？ネットワークサイズの増大に伴い実行時間はどのように変化するか？

主な発見

• RiWalk-SP と RiWalk-WL は、ネットワーク内ノード分類タスクにおいて、最先端のベースラインと同等または優れたパフォーマンスを達成し、トレーニング時間が最大10倍速い。
• Europe:USA および USA:Actor のクロスネットワーク転移タスクにおいて、RiWalk-SP と RiWalk-WL はベースラインを顕著に上回り、分布シフトにもかかわらず頑健であることが示された。
• 欧州ネットワークでは RiWalk-WL が struc2vec に対して 28.7% の改善を達成し、米国ネットワークでは 17.2% の向上を示した。
• 構造的ホール同定タスクでは、RiWalk-SP と RiWalk-WL は、アクター・ネットワークにおいてそれぞれ struc2vec に対して 145% および 127% のパフォーマンス向上を達成した。
• RiWalk-WL はネットワークサイズに対してスーパー線形にスケーリングし、複雑性はおおよそ O(n^1.2) であった。エロイシュ＝レニイのグラフにおいて最大100万ノードまで強力なスケーラビリティを示した。
• このフレームワークは、インフラストラクチャ（欧州、米国）およびソーシャル（アクター）ネットワークを含む多様なネットワークで構造的役割を効果的に捉えており、ネットワークの種類やスケールに関係なく構造的役割の普遍性を示している。

(a) Expressway network