[論文レビュー] Attributed Network Embedding via Subspace Discovery

Daokun Zhang, Jie Yin+2 more|arXiv (Cornell University)|Jan 14, 2019

Advanced Graph Neural Networks参考文献 35被引用数 4

ひとこと要約

本稿では、元のノード属性のネットワーク構造に従う変換を通じて、隠れ属性部分空間を発見する統合型フレームワークである attri2vec を提案する。学習されたマッピングを通じて属性空間とネットワークトポロジーを整合させることで、ノード表現の質が向上し、ノード分類およびクラスタリングにおいて最先端の性能を達成するとともに、学習済みマッピング関数を用いた効率的なアウトオブサンプルノード埋め込みを実現する。

ABSTRACT

Network embedding aims to learn a latent, low-dimensional vector representations of network nodes, effective in supporting various network analytic tasks. While prior arts on network embedding focus primarily on preserving network topology structure to learn node representations, recently proposed attributed network embedding algorithms attempt to integrate rich node content information with network topological structure for enhancing the quality of network embedding. In reality, networks often have sparse content, incomplete node attributes, as well as the discrepancy between node attribute feature space and network structure space, which severely deteriorates the performance of existing methods. In this paper, we propose a unified framework for attributed network embedding-attri2vec-that learns node embeddings by discovering a latent node attribute subspace via a network structure guided transformation performed on the original attribute space. The resultant latent subspace can respect network structure in a more consistent way towards learning high-quality node representations. We formulate an optimization problem which is solved by an efficient stochastic gradient descent algorithm, with linear time complexity to the number of nodes. We investigate a series of linear and non-linear transformations performed on node attributes and empirically validate their effectiveness on various types of networks. Another advantage of attri2vec is its ability to solve out-of-sample problems, where embeddings of new coming nodes can be inferred from their node attributes through the learned mapping function. Experiments on various types of networks confirm that attri2vec is superior to state-of-the-art baselines for node classification, node clustering, as well as out-of-sample link prediction tasks. The source code of this paper is available at https://github.com/daokunzhang/attri2vec.

研究の動機と目的

• 属性ネットワークにおけるスパースかつ不完全なノード属性の課題に対処すること。
• 異種のネットワーク構造と属性特徴空間の間の乖離を克服すること。
• 構造的およびコンテンツ情報を同時に保持する高品質で低次元のノード表現を学習すること。
• 学習済みの属性変換を用いて、効率的なアウトオブサンプルノード埋め込みを可能にすること。
• 大規模な属性ネットワーク向けにスケーラブルでオンライン学習可能なアルゴリズムを開発すること。

提案手法

• 元のノード属性に対して、ネットワークトポロジーを尊重する潜在的部分空間を発見するため、ネットワーク構造に従う変換を適用する。
• 属性に線形および非線形マッピング（例：ReLU、シグモイド、カーネル）を用いて、構造を保存する表現を学習する。
• ネットワーク構造および変換済み属性空間における近接性を保持する最適化問題を定式化し、線形時間の複雑度を持つ確率的勾配降下法で解く。
• DeepWalk メカニズムを用いてノードのコンテキストシーケンスを生成し、構造的類似性が埋め込み空間に符号化されるようにする。
• 訓練中にマッピング関数を学習することで、新しいノードの属性のみからも埋め込みの推論が可能になる。
• このフレームワークは、帰納的表現学習と効率的なオンライン更新の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク構造とより整合性の高い潜在的属性部分空間を発見できるか、ノード表現の質が向上するか？
• RQ2 属性スパarsity下で、線形および非線形変換が属性ネットワーク埋め込みの性能向上にどの程度有効か？
• RQ3 提案手法は、訓練時に観測されていないアウトオブサンプルノードにも一般化可能か？
• RQ4 ノード分類およびクラスタリングタスクにおいて、最先端手法と比較して本フレームワークの性能はいかがなものか？
• RQ5 属性スパarsityおよびモデルハイパーパrameterが、提案手法の性能に与える影響は何か？

主な発見

• attri2vec は、5つの実世界ネットワークにおいてノード分類およびクラスタリングの両面で最先端のベースラインを上回り、Citeseer および DBLP では顕著な向上を示した。
• attri2vec-sigmoid に Weighted-L2 演算子を適用した場合、アウトオブサンプルリンク予測で最高の AUC（0.892）を達成し、新規ノードへの一般化性能が優れていることが示された。
• 属性スパarsityに対しても本手法は頑健である：属性が30％しか利用できない状況でも DeepWalk を上回り、属性次元が50％から100％の間で安定した性能を示した。
• 埋め込み次元、ランダムウォークウィンドウサイズ、トレーニングイテレーション数が増加するにつれて性能が向上し、閾値に達すると安定化した。
• 確率的勾配降下法により、ノード数に対して線形時間の複雑度が保証され、大規模ネットワークへのスケーラビリティが実現された。
• 学習済みマッピング関数により、新規かつ未観測のノードの属性のみからも、正確なノード埋め込みの推論が可能となり、アウトオブサンプル問題を効果的に解決した。