[論文レビュー] Learning Topological Representation for Networks via Hierarchical Sampling

Guoji Fu, Chengbin Hou+1 more|arXiv (Cornell University)|Feb 15, 2019

Complex Network Analysis Techniques参考文献 26被引用数 9

ひとこと要約

本稿では、コミュニティに配慮した階層的サンプリング戦略を用いてネットワークを再帰的に圧縮することで、局所的およびグローバルなトポロジー情報を捉える、HSRLと呼ばれる新しいネットワーク表現学習フレームワークを提案する。複数の圧縮されたネットワークレベル上でノード埋め込みを学習し、それらを連結することで、5つの実世界データセットにおけるリンク予測において、最先端の手法を著しく上回る性能を発揮し、特に大規模ネットワークにおいては統計的に有意な向上が得られた。

ABSTRACT

The topological information is essential for studying the relationship between nodes in a network. Recently, Network Representation Learning (NRL), which projects a network into a low-dimensional vector space, has been shown their advantages in analyzing large-scale networks. However, most existing NRL methods are designed to preserve the local topology of a network, they fail to capture the global topology. To tackle this issue, we propose a new NRL framework, named HSRL, to help existing NRL methods capture both the local and global topological information of a network. Specifically, HSRL recursively compresses an input network into a series of smaller networks using a community-awareness compressing strategy. Then, an existing NRL method is used to learn node embeddings for each compressed network. Finally, the node embeddings of the input network are obtained by concatenating the node embeddings from all compressed networks. Empirical studies for link prediction on five real-world datasets demonstrate the advantages of HSRL over state-of-the-art methods.

研究の動機と目的

• 既存のNRL手法が局所的トポロジーにのみ注目しており、大規模ネットワークにおけるグローバル構造的関係を保持できないという限界を解消すること。
• HARPにおける劣悪なネットワーク圧縮戦略が最適化を誤導し、局所的最適解に陥る問題を克服すること。
• 複数のネットワークレベルにわたり、局所的およびグローバルなトポロジカル情報を保持するコミュニティに配慮した階層的圧縮手法を開発すること。
• 複数の圧縮されたネットワークレベルからのノード埋め込みを連結することで、リンク予測などの下流タスクで優れた性能が得られることを実証すること。

提案手法

• HSRLは、構造的関係を保持するコミュニティに配慮したサンプリング戦略を用いて、入力ネットワークを再帰的により小さなネットワークの階層に圧縮する。
• 各圧縮レベルにおいて、既存のNRL手法（例：DeepWalk、node2vec、LINE）を適用して圧縮されたネットワーク上のノード埋め込みを学習する。
• 各元のノードの最終的なノード埋め込みは、すべての圧縮されたネットワークレベルからの埋め込みを連結することで得られる。
• 階層的圧縮戦略により、局所的近傍構造と長距離のグローバル関係の両方が、複数のレベルにわたり保持される。
• 数学的に、このフレームワークは最終的なノード表現に明示的に局所的およびグローバルなトポロジカル情報を埋め込むことが示されている。
• 本手法は、任意の既存のNRLアルゴリズムと互換性があり、最先端の埋め込みモデルへの即時統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 コミュニティ構造を保持する階層的圧縮戦略は、ネットワーク表現学習におけるグローバルトポロジー情報の捉え方を改善できるか？
• RQ2 複数の圧縮されたネットワークレベルからのノード埋め込みを連結することで、単一レベルの埋め込みよりもリンク予測の性能が向上するか？
• RQ3 リンク予測の精度において、HSRLはDeepWalk、node2vec、LINE、HARPといった最先端のNRL手法と比較してどの程度優れているか？
• RQ4 非凸最適化設定において、HSRLは局所的最適解への収束リスクをどの程度軽減できるか？
• RQ5 HSRLの性能は、埋め込み次元数や圧縮レベル数といったハイパーパrameterにどの程度敏感か？

主な発見

• HSRLは、5つの実世界データセットにおけるリンク予測において、DeepWalk、node2vec、LINE、HARPを著しく上回り、Wilcoxon符号順位検定のp値がすべて0.05未満であった。
• Doubanデータセットでは、最良のベースライン（DeepWalk）に対して18.4％の相対的改善を達成し、大規模ネットワークにおける顕著な向上を示した。
• DBLPデータセットでは、DeepWalkを用いた場合に6.3％の向上を達成し、node2vecを用いた場合には19.9％の向上を示した。これは、異なるNRL手法に対しても安定した性能を発揮することを示している。
• Yelpデータセットでは、node2vecを用いた場合に30.5％の相対的改善を達成し、スパarsなまたは複雑なネットワークにおいて特に有効であることを示した。
• 圧縮レベル数（K）が3を超えると、HSRLの性能は安定化し、多数のネットワークで階層構造を捉えるには3レベルで十分であることが示された。
• HSRLの実行時間は、ベースラインの最大3倍であり、入力サイズに比例してスケーリングされ、並列化によってさらなる高速化が可能である。