[論文レビュー] Initialization for Network Embedding: A Graph Partition Approach

Wenqing Lin, Feng He+3 more|arXiv (Cornell University)|Aug 28, 2019

Advanced Graph Neural Networks参考文献 30被引用数 4

ひとこと要約

本稿では、ネットワーク埋め込みのためのグラフ分割に基づく初期化手法GPAを提案する。GPAは、入力グラフを互いに素な部分グラフに分割し、その部分グラフに基づいて抽象グラフを構築し、その抽象グラフの埋め込みを修正されたスキップグラムモデルで計算した後、元のノードに再帰的に伝搬することで、ノード分類タスクにおける性能を最大8.74%向上させるとともに、すべてのデータセットで少なくとも20%の訓練時間を短縮する。

ABSTRACT

Network embedding has been intensively studied in the literature and widely used in various applications, such as link prediction and node classification. While previous work focus on the design of new algorithms or are tailored for various problem settings, the discussion of initialization strategies in the learning process is often missed. In this work, we address this important issue of initialization for network embedding that could dramatically improve the performance of the algorithms on both effectiveness and efficiency. Specifically, we first exploit the graph partition technique that divides the graph into several disjoint subsets, and then construct an abstract graph based on the partitions. We obtain the initialization of the embedding for each node in the graph by computing the network embedding on the abstract graph, which is much smaller than the input graph, and then propagating the embedding among the nodes in the input graph. With extensive experiments on various datasets, we demonstrate that our initialization technique significantly improves the performance of the state-of-the-art algorithms on the evaluations of link prediction and node classification by up to 7.76% and 8.74% respectively. Besides, we show that the technique of initialization reduces the running time of the state-of-the-arts by at least 20%.

研究の動機と目的

• ネットワーク埋め込み性能に与える初期化の影響が、しばしば軽視されているが、極めて重要な要因であることを解決する。
• 局所的粗化に依存する従来の初期化手法が、グローバルなグラフ構造を保持できないという限界を克服する。
• ネットワーク埋め込みアルゴリズムにおけるハイパーパrameterチューニングの計算コストを、学習された回帰モデルにより低減する。
• 最先端のネットワーク埋め込みアルゴリズムの有効性（精度）と効率（訓練速度）の両方を向上させる。

提案手法

• 入力グラフを分割するグラフ分割アルゴリズム（例：METIS）を適用し、エッジカット数が少ない互いに素な部分グラフに分割する。
• 各部分グラフを1つのノードとして扱い、部分間エッジの重みをその重複度で表す抽象グラフを構築する。
• 重み付きランダムウォークを用いた修正版DeepWalkアルゴリズムを用いて、抽象グラフ上のネットワーク埋め込みを計算する。
• 事前処理段階で回帰モデルを学習し、埋め込みアルゴリズムの最適なハイパーパrameter（例：ウォーク長、ネガティブサンプル数）を予測する。
• 線形時間で実行可能なメッセージパッシング機構を用いて、抽象グラフのノード埋め込みを元のグラフのノードに再帰的に伝搬する。
• 伝搬された埋め込みを、下流のネットワーク埋め込みアルゴリズムの初期ノード表現として使用する。

実験結果

リサーチクエスチョン

• RQ1 グラフ分割に基づくアプローチは、ネットワーク表現学習における初期ノード埋め込みの品質を向上させることができるか？
• RQ2 提案手法の初期化法は、HARP やランダム初期化などの既存のベースラインと比較して、下流タスクの性能でどの程度優れているか？
• RQ3 提案手法は、ネットワーク埋め込みアルゴリズムの訓練時間をどの程度短縮できるか？
• RQ4 抽象グラフ上で、網羅的な探索を伴わずに、学習された回帰モデルがネットワーク埋め込みの最適ハイパーパrameterを効果的に予測できるか？

主な発見

• GPAは、最先端のベースラインと比較して、リンク予測の性能を最大7.76%向上させる。
• ノード分類タスクにおいて、GPAはHARPと比較してマイクロ-F1スコアで最大8.74%の性能向上を達成する。
• すべての評価対象データセットで、訓練時間を少なくとも20%短縮する。Enronデータセットでは33.33%の短縮が観察された。
• ハイパーパラメータチューニングのための回帰モデルにより、品質を損なわせることなく、線形時間で高速な構成が可能になる。
• 抽象グラフの構築により、重要な構造的情報を保持することができ、グローバルな接続性を歪める局所的粗化手法を上回る。
• 初期化戦略により、たとえ既存のアルゴリズム（例：LINE や DeepWalk）を用いても、収束が速く、より優れた最終的な埋め込みが得られる。