[論文レビュー] Walklets: Multiscale Graph Embeddings for Interpretable Network Classification.

Bryan Perozzi, Vivek Kulkarni+1 more|arXiv (Cornell University)|May 6, 2016

Advanced Graph Neural Networks参考文献 18被引用数 58

ひとこと要約

Walklets は、複数スケールにわたるランダムウォークで観測された頂点オフセットをモデル化することにより、解析的に導出可能で人間が解釈可能な頂点表現を学習するマルチスケールグラフ埋め込み手法を提案する。この手法は、マルチラベルネットワーク分類タスクにおいてニューラル行列因子分解手法を上回り、数百万のノードとエッジを含む大規模グラフにも効率的にスケーリングできる。

ABSTRACT

We present Walklets, a novel approach for learning multiscale representations of vertices in a network. These representations clearly encode multiscale vertex relationships in a continuous vector space suitable for multi-label classification problems. Unlike previous work, the latent features generated using Walklets are analytically derivable, and human interpretable. Walklets uses the offsets between vertices observed in a random walk to learn a series of latent representations, each which captures successively larger relationships. This variety of dependency information allows the same representation strategy to model phenomenon which occur at different scales. We demonstrate Walklets' latent representations on several multi-label network classification tasks for social networks such as BlogCatalog, Flickr, and YouTube. Our results show that Walklets outperforms new methods based on neural matrix factorization, and can scale to graphs with millions of vertices and edges.

研究の動機と目的

• 解析的に導出可能で解釈可能なマルチスケール頂点表現を学習するための手法を開発すること。
• ランダムウォークオフセットから導出された潜在特徴を用いて、複数スケールでの頂点関係をモデル化すること。
• BlogCatalog、Flickr、YouTube などの大規模なソーシャルネットワークにおける効果的なマルチラベル分類を可能にすること。
• スケーラビリティを維持しながら、最近年のニューラル行列因子分解に基づくアプローチを上回る分類精度を達成すること。

提案手法

• Walklets はランダムウォークを用いて頂点オフセットを観測し、逐次的な潜在表現を通じてスケールが拡大する依存関係を捉える。
• 各潜在表現は、観測されたウォークオフセットから解析的に導出され、頂点間の関係を段階的に拡大したスケールでエンコードする。
• 各レベルがネットワーク内の粗いスケールの構造的関係を捉える埋め込みの階層を構築する。
• 埋め込みは解釈可能であるように設計されており、特定の関係が最終的な表現にどのように寄与しているかを追跡できる。
• エンドツーエンドの学習を必要とせず、ランダムウォークの統計的性質を活用して連続的なベクトル表現を導出する。
• この手法はスケーラブルであり、数百万の頂点とエッジを含むグラフを効率的に処理できる。

実験結果

リサーチクエスチョン

• RQ1 解析的に導出可能で解釈可能な埋め込みを用いて、ネットワーク内のマルチスケール頂点関係を捉えることは可能か？
• RQ2 ランダムウォークオフセットから導出された表現は、ニューラル行列因子分解からのものと比較して、マルチラベル分類においてどのように異なるか？
• RQ3 単一の埋め込み戦略が、ネットワーク内の複数の構造的スケールで発生する現象を効果的にモデル化できるか？
• RQ4 BlogCatalog や YouTube のような大規模な実世界ネットワークに対して、この手法はどの程度スケーリングできるか？

主な発見

• Walklets は、最先端のニューラル行列因子分解手法を上回る性能を、マルチラベルネットワーク分類タスクで達成した。
• 学習された埋め込みは解析的に導出可能で人間が解釈可能であり、表現にエンコードされた構造的関係についての洞察を得られる。
• 単一で統一された埋め込み戦略を用いて、複数スケールでのネットワーク現象を効果的にモデル化した。
• Walklets は、数百万の頂点とエッジを含むグラフに対しても、大規模データセットにおいて高いパフォーマンスを維持しながら、効率的にスケーリングできた。