[論文レビュー] Distributed Representation of Subgraphs

Bijaya Adhikari, Yao Zhang+2 more|arXiv (Cornell University)|Feb 22, 2017

Advanced Graph Neural Networks参考文献 21被引用数 6

ひとこと要約

この論文では、パラグラフベクトルにインspiredされたフレームワークを用いて局所的近接性を保持することで、任意の部分グラフの分散表現を学習する非教師ありでスケーラブルなアルゴリズム、Sub2Vecを提案する。コミュニティ検出においてノード埋め込みを最大4倍まで上回り、多様な現実世界のネットワークにおいてリンク予測でも優れた性能を示す。

ABSTRACT

Network embeddings have become very popular in learning effective feature representations of networks. Motivated by the recent successes of embeddings in natural language processing, researchers have tried to find network embeddings in order to exploit machine learning algorithms for mining tasks like node classification and edge prediction. However, most of the work focuses on finding distributed representations of nodes, which are inherently ill-suited to tasks such as community detection which are intuitively dependent on subgraphs. Here, we propose sub2vec, an unsupervised scalable algorithm to learn feature representations of arbitrary subgraphs. We provide means to characterize similarties between subgraphs and provide theoretical analysis of sub2vec and demonstrate that it preserves the so-called local proximity. We also highlight the usability of sub2vec by leveraging it for network mining tasks, like community detection. We show that sub2vec gets significant gains over state-of-the-art methods and node-embedding methods. In particular, sub2vec offers an approach to generate a richer vocabulary of features of subgraphs to support representation and reasoning.

研究の動機と目的

• コミュニティ検出などのタスクに不可欠であるが、ノードレベルの埋め込みと比べてあまり研究が進んでいない部分グラフの分散表現のギャップを埋める。
• 構造的類似性を保持するように、任意の部分グラフの低次元ベクトル表現を生成するスケーラブルな手法を開発する。
• 言語モデル化のツールを用いて部分グラフ埋め込みの理論的裏付けを提供し、word2vec や PV-DBOW/PV-DM に類似した枠組みを構築する。
• コミュニティ検出やリンク予測などの下流のネットワークマイニングタスクにおける部分グラフ埋め込みの有効性を実証する。

提案手法

• 自然言語処理におけるパラグラフベクトル（PV-DBOW および PV-DM）フレームワークを部分グラフ埋め込みに適応し、各部分グラフを「パラグラフ」とみなす。
• 共有するノード、エッジ、パスに基づいて、部分グラフ間の構造的類似性を測る指標として、局所的近接性を定義する。
• 負例サンプリングと確率的勾配降下法を用いて、各部分グラフの周辺領域を観測する尤度を最適化する。
• 局所的近接性が高いかつ部分グラフがベクトル空間内で近接するように、各部分グラフの d 次元埋め込みを学習する。
• 各部分グラフの近傍で共通する部分構造を観測する確率を最大化することで、局所的近接性を保持する。
• ノードレベルの埋め込みを超える汎用的なフレームワークを用いて、有向および無向グラフの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 構造的類似性を保持する意味のある低次元分散表現を、任意の部分グラフに対して学習可能か？
• RQ2 部分グラフ間の局所的近接性を定義・形式化し、埋め込みプロセスをガイドする方法は何か？
• RQ3 コミュニティ検出のような部分グラフベースのネットワークマイニングタスクにおいて、部分グラフ埋め込みはノードレベルの埋め込みを上回るか？
• RQ4 既存の手法と比較して、Sub2Vec は大規模で多様な現実世界のネットワークにおいてどのようにスケーリングするか？
• RQ5 局所的近接性に基づく埋め込みが失敗する状況は何か？また、位置的または構造的などの代替の近接性測定法は性能向上に寄与するか？

主な発見

• Sub2Vec は、Node2Vec などの最先端のノード埋め込み手法と比較して、コミュニティ検出の精度で最大 4 倍の向上を達成した。
• Facebook ネットワークでは、Sub2Vec が PV-DM を用いて 40% のエッジ削除率で平均平均精度 0.78 を達成し、Node2Vec（0.45）および他のベースラインを上回った。
• リンク予測においては、特にエッジ削除率が低い場合（P = 40–50%）、密集したネットワークにおいて Sub2Vec がノード埋め込みを一貫して上回った。
• エッジ削除率が高くなると（P = 60）、ネットワークの疎らさが部分グラフの重複を減少させ、局所的近接性が弱まるため、Sub2Vec の性能が低下した。
• Sub2Vec は、ノードレベルの抽象化を超えた推論と表現学習を支援する、より豊富な部分グラフ特徴語彙を提供する。
• 理論的分析により、Sub2Vec が局所的近接性を保持しており、言語モデル化および word2vec の原則と整合することが確認された。