[論文レビュー] Unsupervised Network Embedding for Graph Visualization, Clustering and Classification

Leonardo Gutiérrez-Gómez, Jean‐Charles Delvenne|arXiv (Cornell University)|Feb 25, 2019

Complex Network Analysis Techniques参考文献 29被引用数 4

ひとこと要約

本稿では、全グラフの低次元ベクトル埋め込みを学習する非教師あり深層オートエンコーダーに基づく手法を提案する。これにより、埋め込み空間内でのユークリッド距離を用いた効率的な比較が可能となる。本手法は、クラスタリング、分類、可視化のタスクにおいて、従来のグラフ距離およびグラフカーネルを上回り、特に密な大規模ネットワークにおいて顕著に高速である。

ABSTRACT

A main challenge in mining network-based data is finding effective ways to represent or encode graph structures so that it can be efficiently exploited by machine learning algorithms. Several methods have focused in network representation at node/edge or substructure level. However, many real life challenges such as time-varying, multilayer, chemical compounds and brain networks involve analysis of a family of graphs instead of single one opening additional challenges in graph comparison and representation. Traditional approaches for learning representations relies on hand-crafting specialized heuristics to extract meaningful information about the graphs, e.g statistical properties, structural features, etc. as well as engineered graph distances to quantify dissimilarity between networks. In this work we provide an unsupervised approach to learn embedding representation for a collection of graphs so that it can be used in numerous graph mining tasks. By using an unsupervised neural network approach on input graphs, we aim to capture the underlying distribution of the data in order to discriminate between different class of networks. Our method is assessed empirically on synthetic and real life datasets and evaluated in three different tasks: graph clustering, visualization and classification. Results reveal that our method outperforms well known graph distances and graph-kernels in clustering and classification tasks, being highly efficient in runtime.

研究の動機と目的

• 入力のネットワーク集合から、意味的で低次元のグラフ全体の表現を学ぶ非教師ありニューラルネットワーク手法の開発。
• グラフを共通のユークリッド特徴空間にマッピングすることで、構造的類似度をユークリッド距離で測定可能な、効率的なグラフ比較の実現。
• グラフクラスタリング、可視化、分類タスクにおいて、既存のグラフ距離およびカーネル手法を上回ること。
• データから直接タスクに適した表現を学習することで、手作業による特徴抽出やドメイン固有のヒューリスティクスへの依存を低減すること。
• スペクトル的および編集ベースのグラフ類似度測定手法に対するスケーラブルで計算的に効率的な代替手法の提供。

提案手法

• 本手法は、隣接行列の再構成を通じて、各入力グラフのコンactで低次元の埋め込みを学習するための深層オートエンコーダー（DAE）を採用する。
• エンコーダーは各グラフの隣接行列を、R^p 内の固定サイズのベクトルにマッピングし、グローバルな構造的パターンを捉える。
• デコーダーは埋め込みから隣接行列を再構成し、バックプロパゲーションを用いて再構成誤差を最小化する。
• グラフ類似度は、それらの学習済埋め込み間のユークリッド距離として計算され、特徴空間内での高速な比較が可能になる。
• グラフの集合に対する効率的な学習のため、ミニバッチ確率的勾配降下法が用いられる。
• 特にスパースなグラフに対して効果的であるよう、ペairワイズ距離計算の高速化のための事前計算を活用する。

実験結果

リサーチクエスチョン

• RQ1 非教師あり深層オートエンコーダーは、手作業によるグラフ距離よりも、構造的差をより効果的に捉えるグラフレベルの表現を学習できるか？
• RQ2 提案手法の埋め込みベースのアプローチは、グラフカーネルおよびスペクトル的距離と比較して、クラスタリングおよび分類性能でどのように差をつけるか？
• RQ3 本手法は、異なるグラフタイプおよびサイズにおいて、計算効率の観点からどの程度スケーラブルか？
• RQ4 学習済埋め込みは、意味的で整合性のある構造的関係を保持できるか。これにより、効果的な可視化およびパーティショニングが可能になるか？
• RQ5 ノードの対応関係を保持することで、ノード識別子を無視する手法と比較して、本手法は恩恵を受けるか？

主な発見

• 提案手法は、合成および実世界のデータセットにおいて、すべてのベースラインとなるグラフ距離およびグラフカーネルよりも優れたクラスタリング精度を達成した。
• グラフ分類タスクにおいて、本手法はグラフカーネルおよびスペクトル的距離を上回り、判別力のある特徴を学習できる能力を示した。
• 本手法は、すべての競合手法よりも顕著に高速であり、特に固有値計算を伴うため計算コストの高いスペクトル的距離（CLP、NLP）と比較して顕著に高速であった。
• 密なネットワークでは、エッジ/頂点パターン照合のためスケーリングが悪いJaccard距離およびハミング距離を上回った。
• スケーラブルなグラフ類似度測定法であるDeltaconに対しても、本手法は速度および正確性の両面で上回った。
• 本手法の実行時間の効率性は、埋め込み空間内での高速なユークリッド距離計算および効果的なミニバッチ学習に起因する。