[論文レビュー] Network Representation Learning: From Preprocessing, Feature Extraction to Node Embedding

Jingya Zhou, Ling Liu+2 more|arXiv (Cornell University)|Oct 14, 2021

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本論文は、ネットワーク表現学習（NRL）のための統一的三段階フレームワークを提案し、プロセスを前処理、特徴抽出、ノード埋め込みモデル学習に分解する。均質的ネットワークにおける最先端のNRL手法を体系的にレビューし、設計原則、技術、解釈可能性や近接性・区別可能性のトレードオフといった未解決の課題を強調する。

ABSTRACT

Network representation learning (NRL) advances the conventional graph mining of social networks, knowledge graphs, and complex biomedical and physics information networks. Over dozens of network representation learning algorithms have been reported in the literature. Most of them focus on learning node embeddings for homogeneous networks, but they differ in the specific encoding schemes and specific types of node semantics captured and used for learning node embedding. This survey paper reviews the design principles and the different node embedding techniques for network representation learning over homogeneous networks. To facilitate the comparison of different node embedding algorithms, we introduce a unified reference framework to divide and generalize the node embedding learning process on a given network into preprocessing steps, node feature extraction steps and node embedding model training for a NRL task such as link prediction and node clustering. With this unifying reference framework, we highlight the representative methods, models, and techniques used at different stages of the node embedding model learning process. This survey not only helps researchers and practitioners to gain an in-depth understanding of different network representation learning techniques but also provides practical guidelines for designing and developing the next generation of network representation learning algorithms and systems.

研究の動機と目的

• 均質的ネットワーク向けのネットワーク表現学習（NRL）技術について、包括的かつ構造的なレビューを提供すること。
• 多様なNRLアルゴリズムを比較するための標準化された参照フレームワークの欠如に対処すること。
• 近接性と区別可能性のトレードオフ、解釈可能性、自動学習といった、NRLにおける主要な課題を特定・分析すること。
• 研究者および実務家がエンドツーエンドのNRLワークフローを理解し、次世代NRLシステムの設計を支援すること。
• 異なるNRL手法を共通の分類法の下に統合し、既存のアプローチ間の明確さと比較可能性を向上させること。

提案手法

• 三段階の参照フレームワークを提案：(1) 前処理、(2) 特徴抽出、(3) ノード埋め込みモデル学習。
• サンプリング、フィルタリング、変換などのネットワーク構造の操作に基づいて、前処理技術を分類。
• ランダムウォーク、グラフ畳み込み、行列分解を含む、構造的・トポロジカル・ハイブリッドなアプローチに分類して特徴抽出手法を分類。
• 自己符号化器、GCN、スイップグラムモデルを含む、ディープラーニングアーキテクチャを用いたノード埋め込みモデルをレビュー。
• NetMFを統合的モデルとして用い、行列因子分解とグラフラプラシアンを介して、従来の手法（例：DeepWalk、LINE、node2vec）を統一的に接続。
• 解釈可能性を向上させるために、記号的推論や論理プログラミング（例：帰納的学習）を統合。

Figure 1. An illustration of NRL and its deployment in example applications (Fan et al . , 2019 ; Wang et al . , 2019 ; Fout et al . , 2017 ; Han et al . , 2019 ; Fu et al . , 2020 ; Wei et al . , 2020 ) .

実験結果

リサーチクエスチョン

• RQ1 多様なネットワーク表現学習手法を体系的に比較・分類できる統一的フレームワークをどのように確立できるか？
• RQ2 最先端のNRLアルゴリズムにおいて、前処理、特徴抽出、埋め込みモデル設計の主な違いは何か？
• RQ3 異なるNRL手法は、学習された埋め込みにおいて近接性の保持とノードの区別性のバランスをどのようにとっているか？
• RQ4 学習されたノード埋め込みの解釈可能性における現在の制限は何か。それらはどのように克服できるか？
• RQ5 次世代NRLシステムを進歩させるために、最も重要な今後の方向性は何か？

主な発見

• 提案された三段階フレームワークは、NRL手法の理解と比較に明確で体系的かつ拡張可能な構造を提供する。
• ノードサンプリングやエッジフィルタリングなどの前処理技術は、特に高次数のハブを有するスケールフリーネットワークにおいて、後続の埋め込み品質に顕著な影響を与える。
• ランダムウォーク（DeepWalk）やグラフ畳み込み（GCN）といった特徴抽出手法は、局所的およびグローバルな構造的パターンを効果的に捉える。
• 行列因子分解に基づくモデル（例：NetMF）は、複数のNRLアルゴリズム（例：DeepWalk、LINE、node2vec）を共通の数学的定式化の下に統合する。
• 解釈可能性は依然として主要な未解決課題であり、優れた性能を示す埋め込みの理由を理論的またはメカニズム的に説明できる手法はほとんどない。
• 近接性（近隣関係の保持）と区別性（異なるノードの分離）のトレードオフは、現在のモデルではまだ完全に解決されていない。

Figure 2. An example of a three-layer neural network used to realize network representation learning. (1) build corpus based on random walk ( $\gamma=4$ , $t=8$ , $\alpha=0$ ); (2) build training set based on sliding window ( $s=1$ ); (3) build vocabulary to store the set of nodes and their frequenc