[論文レビュー] Network Embedding: An Overview

Nino Arsov, Georgina Mirceva|arXiv (Cornell University)|Nov 26, 2019

Advanced Graph Neural Networks参考文献 18被引用数 23

ひとこと要約

本稿は、ネットワーク埋め込み技術について包括的な概要を提供し、Spectral Clustering、DeepWalk、LINE、node2vecの4つの主要な手法を検討して、ネットワーク内のノードの低次元、実数値の表現を学習する。実験の結果、node2vecはリンク予測タスクにおいて他の手法を常に上回り、複数のデータセットでLINEよりも最大6.5%高いAUCスコアを達成した。これは、学習された特徴ベクトルが構造的類似性を効果的に保持できることを示している。

ABSTRACT

Networks are one of the most powerful structures for modeling problems in the real world. Downstream machine learning tasks defined on networks have the potential to solve a variety of problems. With link prediction, for instance, one can predict whether two persons will become friends on a social network. Many machine learning algorithms, however, require that each input example is a real vector. Network embedding encompasses various methods for unsupervised, and sometimes supervised, learning of feature representations of nodes and links in a network. Typically, embedding methods are based on the assumption that the similarity between nodes in the network should be reflected in the learned feature representations. In this paper, we review significant contributions to network embedding in the last decade. In particular, we look at four methods: Spectral Clustering, DeepWalk, Large-scale Information Network Embedding (LINE), and node2vec. We describe each method and list its advantages and shortcomings. In addition, we give examples of real-world machine learning problems on networks in which the embedding is critical in order to maximize the predictive performance of the machine learning task. Finally, we take a look at research trends and state-of-the art methods in the research on network embedding.

研究の動機と目的

• 低次元ノード表現を学習するための主な非教師ありネットワーク埋め込み手法を調査・比較すること。
• これらの手法が、特にリンク予測を含む下流の機械学習タスクでどのように性能を発揮するかを評価すること。
• 各手法がネットワーク構造と類似性をどれほど的確に捉えられるか、その長所と短所を特定すること。
• ハイブリッドネットワーク、属性付きネットワーク、構造的役割の保存といった分野における最近の研究トレンドを強調すること。

提案手法

• ランダムウォークを用いてノードのシーケンスを生成し、それをスキップグラムモデルの入力として用いてノード埋め込みを学習する。
• node2vecでは、局所的およびグローバルなネットワーク構造の両方をバランスよく探索するためのバイアス付きランダムウォーク戦略を採用する。
• Spectral ClusteringとLINEでは、行列因子分解技術を用いて、埋め込み空間内での近接性と類似性を保持する。
• リンク予測のため、ノード特徴表現をハダマード積、平均、およびL1/L2ノルムなどの演算子を用いて統合する。
• 拡散ウェーブレットとstruc2vecを用いて、ネットワークトポロジーに対して不変な埋め込みを学習するため、構造的同一性と対称性を活用する。
• メタパス2vecは、異なるノードタイプ間の意味的関係を捉えるメタパスをモデル化することで、ハイブリッドネットワークにおける効果的な埋め込み学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 異なるネットワーク埋め込み手法は、学習された表現におけるネットワーク構造と類似性をどの程度効果的に保持しているか？
• RQ2 ハダマール積や平均などの異なる集約演算子が、リンク予測性能に与える影響は何か？
• RQ3 なぜnode2vecは、リンク予測などの下流タスクにおいてDeepWalk や LINE を上回るのか？
• RQ4 最近の手法は、ハイブリッドネットワークおよび属性付きネットワークにおける課題をどのように解決しているか？
• RQ5 ネットワーク表現学習分野における主なトレンドと今後の方向性は何か？

主な発見

• node2vecはリンク予測において最高のAUCスコアを記録し、Facebookデータセットではハダマード積演算子を用いて0.9680に達した。
• PPIデータセットでは、node2vecのAUCは0.7719であり、DeepWalk（0.7441）とLINE（0.7249）を上回った。
• ハダマール積演算子は、すべてのデータセットおよびアルゴリズムにおいて、最も安定的で高い性能を発揮した。
• arXiv ASTRO-PHデータセットでは、node2vecはDeepWalkに比べて最大3.8%、LINEに比べて最大6.5%のリンク予測性能向上を達成した。
• Spectral Clusteringはリンク予測において劣悪な性能を示し、大多数のデータセットでAUCスコアが0.60未満であった。これは、スケーラビリティと表現力に限界があることを示している。
• 最近の手法、例えばメタパス2vecやstruc2vecは、それぞれハイブリッドネットワークおよび構造的対称性を持つネットワークにおいて、効果的な埋め込み学習を可能にしている。