[論文レビュー] SPINE: Structural Identity Preserved Inductive Network Embedding

Junliang Guo, Linli Xu+1 more|arXiv (Cornell University)|Feb 12, 2018

Advanced Graph Neural Networks参考文献 38被引用数 7

ひとこと要約

SPINEは、Rooted PageRankに基づく構造的特徴と偏りのあるSkip-Gramネガティブサンプリング戦略を活用することで、局所的近接性とグローバルな構造的アイデンティティを同時に保持するインダクティブなネットワーク埋め込みフレームワークを提案する。この手法は、一般化可能でエンド・トゥ・エンドでトレーニング可能な方法で、局所的および高階の構造的情報を効果的に符号化することで、推論的および従来のノード分類およびリンク予測タスクで最先端の性能を達成する。

ABSTRACT

Recent advances in the field of network embedding have shown that low-dimensional network representation is playing a critical role in network analysis. Most existing network embedding methods encode the local proximity of a node, such as the first- and second-order proximities. While being efficient, these methods are short of leveraging the global structural information between nodes distant from each other. In addition, most existing methods learn embeddings on one single fixed network, and thus cannot be generalized to unseen nodes or networks without retraining. In this paper we present SPINE, a method that can jointly capture the local proximity and proximities at any distance, while being inductive to efficiently deal with unseen nodes or networks. Extensive experimental results on benchmark datasets demonstrate the superiority of the proposed framework over the state of the art.

研究の動機と目的

• 既存のネットワーク埋め込み手法が局所的近接性とグローバルな構造的アイデンティティを同時に保持できないという限界を解決すること。
• 再トレーニングなしに未観測のノードや新しいネットワークに一般化可能なインダクティブフレームワークを開発すること。
• 隣接ノードに限らず、任意の距離に離れたノード間の構造的アイデンティティ（役割や位置）をモデル化すること。
• Rooted PageRankから得られる構造的特徴をエンド・トゥ・エンドの学習フレームワークに統合し、表現学習を向上させること。
• 構造的に類似したノードペアを優先する新しい正例サンプリング戦略をSkip-Gramネガティブサンプリングに導入し、埋め込みにおける構造的情報の強化を図ること。

提案手法

• 高階の構造的アイデンティティを捉えるために、各ノードにRooted PageRank (RPR) を用いて構造的特徴ベクトルを割り当てる。
• 隣接ノードの構造的特徴とコンテンツ特徴を統合することで、ノード表現を学習する埋め込み生成器を構築する。
• ノード間の構造的類似度スコアに基づいて誘導される正例サンプリング戦略を備えた、偏りのあるSkip-Gramネガティブサンプリング (SGNS) 法を導入する。
• 対照学習を通じて局所的近接性と構造的アイデンティティの両方の保持を最適化するための共同目的関数を設計する。
• 未観測のノードやネットワークに一般化可能な低次元埋め込みを生成するために、マルチレイヤーのニューラルネットワークを採用する。
• 構造的特徴を埋め込み空間にマッピングするための学習可能なパラメータ行列を用いることで、インダクティブな一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 任意の距離に離れたノード間で、局所的近接性と構造的アイデンティティ（ノードの役割）を同時に保持できるネットワーク埋め込み手法は存在するか？
• RQ2 再トレーニングなしに未観測のノードや新しいネットワークに一般化できるインダクティブフレームワークは構築可能か？
• RQ3 Rooted PageRankから得られる構造的特徴を統合することで、局所的近接性に依存する手法と比較して、学習された埋め込みの質が向上するか？
• RQ4 エッジの削除やコンテンツの変更といった構造的摂動に対して、提案手法はどれほど頑健か？
• RQ5 SGNSにおける偏りのある正例サンプリング戦略は、埋め込み空間における構造的アイデンティティの保持を強化できるか？

主な発見

• SPINEは、ベンチマークデータセット上で推論的および従来のノード分類およびリンク予測タスクの両方で最先端の性能を達成する。
• FB-686データセットでは、接続されたノードペアとミラー化されたノードペアの平均距離比が5.72にまで低下し、struc2vecの13.40よりも顕著に低い値を示しており、局所的および構造的情報の明確な分離が図られている。
• 30％のエッジ削除に対しても、SPINEは接続されたノードペアとミラー化されたノードペアの距離比が安定して5.72を維持し、構造的摂動に対して高い頑健性を示す。
• 埋め込み空間内でのミラー化されたノードペア間のユークリッド距離が小さくなることから、struc2vecよりも構造的アイデンティティをより明確に保持していることが示された。
• 構造的類似度に基づく正例サンプリング戦略を有する偏りのあるSGNSにより、局所的およびグローバルな構造的関係の区別がより明確にされた埋め込みが得られた。
• SPINEは未観測のノードやネットワークに効果的に一般化でき、エンド・トゥ・エンドでトレーニング可能な生成器アーキテクチャのおかげで、推論的設定において従来の手法を上回る性能を発揮した。