[論文レビュー] Network Representation Learning: A Survey

Daokun Zhang, Jie Yin+2 more|arXiv (Cornell University)|Dec 4, 2017

Complex Network Analysis Techniques参考文献 105被引用数 46

ひとこと要約

本調査は、学習メカニズム、保持されるネットワーク情報、アルゴリズム設計に基づいて、ネットワーク表現学習（NRL）手法の包括的な分類と分析を提供している。ベンチマークデータセット、オープンソースツール、およびアルゴリズム間の実証的性能を評価し、勾配降下法に基づく手法（例：node2vec）が行列分解手法よりも顕著にスケーラブルであることが判明した。一方、ディープラーニングおよび異種ネットワーク手法は強力な可能性を示しているが、スケーラビリティと耐性の課題に直面している。

ABSTRACT

With the widespread use of information technologies, information networks are becoming increasingly popular to capture complex relationships across various disciplines, such as social networks, citation networks, telecommunication networks, and biological networks. Analyzing these networks sheds light on different aspects of social life such as the structure of societies, information diffusion, and communication patterns. In reality, however, the large scale of information networks often makes network analytic tasks computationally expensive or intractable. Network representation learning has been recently proposed as a new learning paradigm to embed network vertices into a low-dimensional vector space, by preserving network topology structure, vertex content, and other side information. This facilitates the original network to be easily handled in the new vector space for further analysis. In this survey, we perform a comprehensive review of the current literature on network representation learning in the data mining and machine learning field. We propose new taxonomies to categorize and summarize the state-of-the-art network representation learning techniques according to the underlying learning mechanisms, the network information intended to preserve, as well as the algorithmic designs and methodologies. We summarize evaluation protocols used for validating network representation learning including published benchmark datasets, evaluation methods, and open source algorithms. We also perform empirical studies to compare the performance of representative algorithms on common datasets, and analyze their computational complexity. Finally, we suggest promising research directions to facilitate future study.

研究の動機と目的

• 学習メカニズム、保持されるネットワーク情報、アルゴリズム設計に基づいて、ネットワーク表現学習（NRL）技術の体系的分類を提供すること。
• 教師ありおよび半教師あり設定における最先端のNRLアルゴリズムをレビュー・比較し、その強みと限界を明らかにすること。
• 標準化された評価プロトコル（ベンチマークデータセット、評価指標、オープンソース実装を含む）を要約すること。
• 代表的なNRLアルゴリズムの性能と計算複雑性を、共通のデータセット上で実証的に比較すること。
• スケーラビリティ、異種性、符号付きネットワーク、ノイズへの耐性といった、新たな研究分野を特定・議論すること。

提案手法

• 学習設定（教師あり／半教師あり）に基づき、情報源とアルゴリズム的アプローチでさらに細分化する、新しい分類体系を提唱する。
• 基本的なメカニズムに基づいて手法を分類：ランダムウォークベース（例：DeepWalk、node2vec）、行列分解ベース（例：LINE、SDNE）、ディープラーニングベース（例：GCN、VGAE）。
• エッジモデリングおよびノードの近接性保持技術をレビューし、局所的およびグローバルな構造的パターンを学ぶためにネガティブサンプリング付きスキップグラムを用いる。
• 計算複雑性を分析し、勾配降下法に基づく手法が固有値分解に基づく行列分解手法よりも優れたスケーリング性能を示すことを示す。
• 敵対的訓練（ANE、ARGA）や不確実性を考慮した埋め込み（URGE）といった耐性技術を評価し、ノイズや確率的ネットワークへの対処に有効であることを示す。
• メタパスとメタ構造を用いた異種情報ネットワーク（HIN）埋め込みを検討し、複数のエンティティタイプ間の複雑な意味的関係をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 学習メカニズム、保持される情報、アルゴリズム設計に基づいて、ネットワーク表現学習手法を体系的に分類する方法は何か？
• RQ2 標準ベンチマークデータセット上で、主なNRLアルゴリズム間の相対的な性能と計算効率のトレードオフは何か？
• RQ3 異なるNRL手法は、ノード属性、ネットワーク構造、ノードコンテンツやエッジタイプといったサイド情報の処理をどのように行うか？
• RQ4 数百万〜数十億ノードを含む大規模ネットワークへのNRL手法のスケーリングにおける主な課題は何か？
• RQ5 耐性の向上、異種ネットワークの取り扱い、符号付き関係のモデル化を改善するための有望な研究分野は何か？

主な発見

• 勾配降下法に基づく手法（例：node2vec、DeepWalk）は、固有値分解に依存する行列分解手法（例：LINE、SDNE）よりも顕著に優れたスケーラビリティを示す。
• 行列分解に基づく手法はコミュニティ構造の保持やノード属性の統合において優れた性能を示すが、大規模ネットワークでは計算コストが非常に高くなる。
• GCN や VGAE などのディープラーニングベース手法はネットワーク内の非線形関係をモデル化可能だが、しばしば膨大な計算リソースを要し、アーキテクチャの最適化がなければスケーラビリティに劣る。
• メタパスを用いた異種情報ネットワーク（HIN）埋め込みは、多様なエンティティタイプ間での意味的近接性学習を可能にするが、分野はまだ初期段階にあり、標準化が不十分である。
• ANE や URGE といった耐性技術は、ノイズやエッジの不確実性下でも表現の安定性を向上させ、敵対的および確率的正則化が現実のノイズのあるネットワークに有効であることを示している。
• 実証的評価により、ランダムウォークベース手法がノード分類やリンク予測といった下流タスクにおいて、速度と性能の両面で行列分解手法を上回ることが確認された。