[論文レビュー] Conditional Network Embeddings

Bo Kang, Jefrey Lijffijt+1 more|arXiv (Cornell University)|May 19, 2018

Advanced Graph Neural Networks参考文献 11被引用数 12

ひとこと要約

この論文では、ベイズ推論を用いて、ノード次数やブロック構造などの事前構造的知識を条件付けすることで、従来のネットワーク埋め込みを強化する確率的フレームワーク、条件付きネットワーク埋め込み（CNE）を紹介する。ネットワークと埋め込みを尤度関数で同時にモデル化することにより、計算複雑性を増加させることなく、リンク予測およびマルチラベル分類において優れた性能を達成し、ベンチマークネットワークにおいて最先端の手法を上回る。

ABSTRACT

Network Embeddings (NEs) map the nodes of a given network into $d$-dimensional Euclidean space $\mathbb{R}^d$. Ideally, this mapping is such that `similar' nodes are mapped onto nearby points, such that the NE can be used for purposes such as link prediction (if `similar' means being `more likely to be connected') or classification (if `similar' means `being more likely to have the same label'). In recent years various methods for NE have been introduced, all following a similar strategy: defining a notion of similarity between nodes (typically some distance measure within the network), a distance measure in the embedding space, and a loss function that penalizes large distances for similar nodes and small distances for dissimilar nodes. A difficulty faced by existing methods is that certain networks are fundamentally hard to embed due to their structural properties: (approximate) multipartiteness, certain degree distributions, assortativity, etc. To overcome this, we introduce a conceptual innovation to the NE literature and propose to create \emph{Conditional Network Embeddings} (CNEs); embeddings that maximally add information with respect to given structural properties (e.g. node degrees, block densities, etc.). We use a simple Bayesian approach to achieve this, and propose a block stochastic gradient descent algorithm for fitting it efficiently. We demonstrate that CNEs are superior for link prediction and multi-label classification when compared to state-of-the-art methods, and this without adding significant mathematical or computational complexity. Finally, we illustrate the potential of CNE for network visualization.

研究の動機と目的

• 標準的なネットワーク埋め込みが、おおよそk部グラフ的またはパワー則度分布を示すような構造的に複雑なネットワークを表現する点で根本的な制限を抱える問題に対処すること。
• ユークリッド幾何学のみで捉えられるもの以上の情報を埋め込み空間で得るための方法を開発すること。
• ノード次数やコミュニティ構造などの事前知識を、原理的かつ確率的な方法で埋め込みプロセスに統合すること。
• 既知の構造的パターンを除外することで、残存するネットワーク構造を強調し、より情報量が多く解釈可能なネットワーク可視化を可能にすること。
• 構造的事前知識を埋め込みに条件付けすることで、リンク予測やマルチラベル分類といった下流タスクでの性能向上が達成されることを示すこと。

提案手法

• CNEは、ノード次数やブロック所属など既知の構造的特性を事前分布に組み込むことで、ネットワークと埋め込みの同時確率をモデル化するベイズフレームワークを用いる。
• ベイズの定理を適用して、ネットワークと事前分布が与えられたもとでの埋め込みの事後分布を導出し、最尤推定によりこれを最大化する。
• 大規模ネットワークへのスケーラビリティを実現するため、ブロック確率的勾配降下法を提案する。
• 損失関数は、埋め込み空間内の近接性とネットワークの構造的類似性を、事前分布で重み付けすることでバランスさせる。
• 埋め込みを潜在変数とみなし、ネットワーク構造と同時に学習することで、埋め込みが非自明な残存関係に焦点を当てる。
• 度数分布やコミュニティブロック構造を含む、柔軟な事前分布をサポートし、目的に応じた埋め込み学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前構造的知識（ノード次数やコミュニティ構造など）を条件付けたネットワーク埋め込みが、リンク予測やマルチラベル分類タスクの性能向上に寄与するか。
• RQ2 リンクに事前分布（ノード次数やコミュニティ構造に基づく）を組み込むことで、ユークリッド埋め込みの表現力がどのように向上するか。
• RQ3 計算複雑性を増加させることなく、CNEが最先端のネットワーク埋め込み手法をどの程度上回るか。
• RQ4 既知の構造的パターンを除外することで、CNEがより解釈可能で情報量の多い可視化を可能にするか。
• RQ5 CNEの確率的定式化が、二部グラフやパワー則ネットワークのような挑戦的なトポロジーを持つネットワークにおいて、より良い一般化を可能にするか。

主な発見

• CNEは、学術的および社会的ネットワークを含む複数のベンチマークネットワークにおいて、リンク予測精度で最先端のネットワーク埋め込み手法を顕著に上回る。
• マルチラベル分類タスクにおいて、ノード次数などの事前知識が組み込まれた場合、CNEは既存の手法よりも高いF1スコアを達成する。
• ブロック確率的勾配降下法のおかげで、SOTA手法と同等のスケーラビリティを維持しており、大規模ネットワークにおける効率的な学習が可能である。
• CNEは2次元可視化を直接可能にし、マトリクス構造の会社ネットワークにおけるチーム編成など、事前知識を超えた残存ネットワーク構造を明確に示す。
• ブロック構造や度数分布といった事前知識が使用された場合、埋め込み空間は、学術プログラムごとにグループ化される科目のような機能的関係をよりよく捉える。
• 実験的結果から、CNEは事前知識にすでにエンコードされた構造的関係とは異なる部分に焦点を当てることで、より意味的かつ情報量の多い表現を捉えていることが確認された。