[論文レビュー] SINE: Scalable Incomplete Network Embedding

Daokun Zhang, Jie Yin+2 more|arXiv (Cornell University)|Oct 16, 2018

Advanced Graph Neural Networks参考文献 19被引用数 4

ひとこと要約

SINEは、不完全なネットワークからの低次元表現を学習するために、ノード・コンテキスト関係とノード属性関係を統合的にモデル化するスケーラブルで確率的ネットワーク埋め込み手法を提案する。確率的勾配降下法を用いたオンライン学習により、欠落したリンクや属性を効果的に処理しながら、大規模ネットワークにおいても高い効率性を維持し、欠落データ設定下でノード分類、クラスタリング、リンク予測の分野で最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Attributed network embedding aims to learn low-dimensional vector representations for nodes in a network, where each node contains rich attributes/features describing node content. Because network topology structure and node attributes often exhibit high correlation, incorporating node attribute proximity into network embedding is beneficial for learning good vector representations. In reality, large-scale networks often have incomplete/missing node content or linkages, yet existing attributed network embedding algorithms all operate under the assumption that networks are complete. Thus, their performance is vulnerable to missing data and suffers from poor scalability. In this paper, we propose a Scalable Incomplete Network Embedding (SINE) algorithm for learning node representations from incomplete graphs. SINE formulates a probabilistic learning framework that separately models pairs of node-context and node-attribute relationships. Different from existing attributed network embedding algorithms, SINE provides greater flexibility to make the best of useful information and mitigate negative effects of missing information on representation learning. A stochastic gradient descent based online algorithm is derived to learn node representations, allowing SINE to scale up to large-scale networks with high learning efficiency. We evaluate the effectiveness and efficiency of SINE through extensive experiments on real-world networks. Experimental results confirm that SINE outperforms state-of-the-art baselines in various tasks, including node classification, node clustering, and link prediction, under settings with missing links and node attributes. SINE is also shown to be scalable and efficient on large-scale networks with millions of nodes/edges and high-dimensional node features. The source code of this paper is available at https://github.com/daokunzhang/SINE.

研究の動機と目的

• 現実のネットワークにおける欠落したリンクや不完全なノード属性に対して脆弱である既存の属性付きネットワーク埋め込み手法の課題を解決すること。
• 数百万ノードと高次元特徴を持つ大規模ネットワークにおいても高いパフォーマンスを維持できるスケーラブルなソリューションを開発すること。
• 利用可能な情報を活用しながら、欠落データによる表現学習への悪影響を最小限に抑える柔軟な学習フレームワークを提供すること。
• リアルタイムおよび大規模な展開に適した、オンライン確率的勾配降下法による高い計算効率を達成すること。

提案手法

• SINEは、構造的およびコンテンツ的依存関係を捉えるために、ノード・コンテキスト関係とノード属性関係を別々にモデル化する確率的学習フレームワークを構築する。
• ノードトポロジーと属性を結合するために3層のニューラルネットワークを用い、統合的表現学習を可能にする。
• 広範な構造的依存関係をモデル化し、遠く離れたノード間の類似性を保持するためにランダムウォークを用いる。
• 大規模ネットワークにおけるスケーラブルで段階的な学習を可能にするために、確率的勾配降下法（SGD）に基づくオンライン最適化戦略を導出する。
• ハダマード演算子を用いて、コンテキストビューと属性ビューからのノード表現を統合し、特徴融合を強化する。
• SINEは欠落データに動的に適応し、利用可能な情報に焦点を当てることで、不完全な特徴やリンクの影響を低減する。

実験結果

リサーチクエスチョン

• RQ1 大規模ネットワークにおける欠落したリンクや不完全なノード属性に対して、ネットワーク埋め込みをどのようにしてロバストにすればよいか。
• RQ2 確率的フレームワークが、ノード・コンテキスト関係とノード属性関係を統合的にモデル化することで、欠落データ下でも表現品質を向上させられるか。
• RQ3 SINEのオンラインSGDベースの学習戦略は、バッチ手法と比較して大規模ネットワークにおけるスケーラビリティと効率性においてどのように差をつけるか。
• RQ4 欠落データ条件下で、SINEはノード分類、クラスタリング、リンク予測の分野で、最先端のベースラインをどの程度上回るか。

主な発見

• Coraで50％の属性が欠落している状況下でも、SINEはMicro-F1スコア0.9382を達成し、2番目に良い手法（LINE-2：0.8787）を顕著に上回った。
• DBLP(Full)では、50％のエッジが欠落している状況下でも、SINEはF1スコア0.8497を維持し、すべてのベースラインを上回った。
• SINEは優れたスケーラビリティを示し、DeepWalkやLINEと同等の実行時間であり、TADW、HSCA、SDNE、MVC-DNEよりも顕著に高速だった。
• SINEは欠落データに対して高いロバスト性を示した：エッジ欠落率が上昇するにつれて、他の手法と比較してSINEの性能低下は顕著に小さく、特に構造のみに依存するベースラインよりも優れた性能を示した。
• パラメータ感度分析の結果、イテレーション回数、ウィンドウサイズ、埋め込み次元が増加するにつれて性能が向上し、閾値に達すると安定化した。
• SINEは、評価された全データセット（Cora、Citeseer、DBLP）および全タスクで常に最高または2番目のパフォーマンスを達成し、その有効性と一般化能力を確認した。