[論文レビュー] HARP: Hierarchical Representation Learning for Networks

Haochen Chen, Bryan Perozzi+2 more|arXiv (Cornell University)|Jun 23, 2017

Advanced Graph Neural Networks被引用数 127

ひとこと要約

HARPは階層的グラフコースニングパラダイムを導入し埋め込みを初期化、DeepWalk、LINE、Node2vecの埋め込みを改善し、実ネットワーク上でマクロF1スコアを最大14%向上させる。

ABSTRACT

We present HARP, a novel method for learning low dimensional embeddings of a graph's nodes which preserves higher-order structural features. Our proposed method achieves this by compressing the input graph prior to embedding it, effectively avoiding troublesome embedding configurations (i.e. local minima) which can pose problems to non-convex optimization. HARP works by finding a smaller graph which approximates the global structure of its input. This simplified graph is used to learn a set of initial representations, which serve as good initializations for learning representations in the original, detailed graph. We inductively extend this idea, by decomposing a graph in a series of levels, and then embed the hierarchy of graphs from the coarsest one to the original graph. HARP is a general meta-strategy to improve all of the state-of-the-art neural algorithms for embedding graphs, including DeepWalk, LINE, and Node2vec. Indeed, we demonstrate that applying HARP's hierarchical paradigm yields improved implementations for all three of these methods, as evaluated on both classification tasks on real-world graphs such as DBLP, BlogCatalog, CiteSeer, and Arxiv, where we achieve a performance gain over the original implementations by up to 14% Macro F1.

研究の動機と目的

• 大規模ネットワーク向けのグラフ表現学習の動機づけと局所的で非凸な埋め込み法の限界。
• グローバルなグラフ構造を保ち、埋め込みの初期化を改善するマルチレベルコースニングパラダイム（HARP）を提案。
• HARPが複数の実世界データセットで既存の埋め込み手法を改善することを示す。
• コースニングのオーバーヘッドは控えめで、大規模グラフにもスケーラブルであることを示す。

提案手法

• グラフコースニングを用いて階層を構築し、最も粗いレベルで埋め込みを行い、より細かなレベルへプロロンゲーションして refinements を行うという三部構成のHARPフレームワークを導入。
• エッジの崩壊（第一次近接性を保持）とスター崩壊（第二次近接性を保持）を組み合わせたハイブリッドなコースニング方式を用いてG0, G1, ..., GLを形成。
• 最も粗いグラフで埋め込みアルゴリズムEmbed()を適用し、GLからG0へ埋め込みを逐次的にプロロンゲーションして refinements を行う。
• より細かなグラフから粗いグラフへ埋め込みを再利用する親ノード表現の再利用とEmbed()中の勾配ステップでの更新によってプロロンゲーションを行う。
• アルゴリズム独立性を維持：HARPは既存のグラフ埋め込み手法（DW、LINE、Node2vec）を包み込み、その性能を向上させる。
• 時間計算量を分析し、HARPは基礎埋め込み手法に対して過度なオーバーヘッドを追加しないことを示す。

実験結果

リサーチクエスチョン

• RQ1 マルチレベルコースニングアプローチはグローバルなグラフ構造を捉えてノード埋め込みを改善できるか？
• RQ2 階層的な初期化は埋め込み手法が局所最適解にはまり込むのを防ぎ、下流のタスクを改善するか？
• RQ3 HARPは既存のグラフ埋め込みアルゴリズムを強化する一般的なメタ戦略として適用可能か？
• RQ4 DW、LINE、Node2vecと組み合わせた場合のHARPの実世界ネットワークでの経験的利得はどれくらいか？

主な発見

方法	DBLP マクロ F1	BlogCatalog マクロ F1	CiteSeer マクロ F1	改善率（%）
DeepWalk	57.29	24.88	42.72	-
HARP(DW)	61.76	25.90	44.78	7.8
LINE	57.76	22.43	37.11	-
HARP(LINE)	59.51	23.47	42.95	13.6
Node2vec	62.64	23.55	44.84	-
HARP(N2V)	62.80	24.66	46.08	2.8

• HARPはDBLP、BlogCatalog、CiteSeerデータセットでベースライン手法に対してマクロF1スコアを改善する。
• DBLPでは DW が 57.29 から 61.76 に上昇（+7.8%）、LINE が 57.76 から 59.51 に上昇（+3.0%）、Node2vec が 62.64 から 62.80 に上昇（+0.3%）。
• BlogCatalogでは DW が 24.88 から 25.90 に上昇（+4.0%）、LINE が 22.43 から 23.47 に上昇（+4.6%）、Node2vec が 23.55 から 24.66 に上昇（+4.7%）。
• CiteSeerでは DW が 42.72 から 44.78 に上昇（+4.8%）、LINE が 37.11 から 42.95 に上昇（+13.6%）、Node2vec が 44.84 から 46.08 に上昇（+2.8%）。
• 総じて、HARPはタスク全体で最大14%のマクロF1の改善をもたらす。
• HARPの実行オーバーヘッドは通常10%未満であり、グラフサイズに対して線形にスケールする。