[論文レビュー] Deep Generative Models for Relational Data with Side Information

Changwei Hu, Piyush Rai+1 more|arXiv (Cornell University)|Jun 16, 2017

Bayesian Methods and Mixture Models参考文献 1被引用数 7

ひとこと要約

本論文は、複数層の潜在特徴を介して階層的かつ重複するコミュニティ構造を学習する深層生成モデルを提案する。ノード側の情報は回帰ベースのマッピングにより統合される。データ拡張を用いた完全な局所的共役性により、エッジ数に比例する複雑さで効率的なギブスサンプリングが可能となり、スパースで複雑なネットワークにおいて最先端のリンク予測とコミュニティ発見を達成する。解釈可能性とスケーラビリティの両面で向上を実現する。

ABSTRACT

We present a probabilistic framework for overlapping community discovery and link prediction for relational data, given as a graph. The proposed framework has: (1) a deep architecture which enables us to infer multiple layers of latent features/communities for each node, providing superior link prediction performance on more complex networks and better interpretability of the latent features; and (2) a regression model which allows directly conditioning the node latent features on the side information available in form of node attributes. Our framework handles both (1) and (2) via a clean, unified model, which enjoys full local conjugacy via data augmentation, and facilitates efficient inference via closed form Gibbs sampling. Moreover, inference cost scales in the number of edges which is attractive for massive but sparse networks. Our framework is also easily extendable to model weighted networks with count-valued edges. We compare with various state-of-the-art methods and report results, both quantitative and qualitative, on several benchmark data sets.

研究の動機と目的

• 関係ネットワークにおける複雑で階層的なコミュニティ構造を捉えることのできない単層潜在特徴モデルの限界を克服すること。
• 複数層の重複する潜在特徴を学習することで、スパースネットワークにおけるリンク予測とコミュニティ発見を改善すること。
• ノード側情報（属性）を潜在特徴学習プロセスに直接統合し、特にコールドスタート状況下でもより良い一般化性能を達成すること。
• データ拡張と閉形式ギブスサンプリングを用いて、エッジ数に線形にスケーリングする効率的な推論を実現する完全ベイズモデルを開発すること。

提案手法

• ノードごとに複数層のバイナリ潜在特徴を有する深層アーキテクチャを採用し、階層的かつ重複するコミュニティ検出を可能にする。
• エッジ確率を潜在特徴の相互作用に基づいてモデル化するため、二重線形リンク関数 p(Aij=1) = g(z_i^T Λ z_j) を使用する。
• ノード属性 S から潜在特徴へのマッピングを学習可能な重み w^(ℓ)_k とバイアス b^(ℓ)_k を用いた回帰モデルにより、側情報（スコア）を統合する。
• ポリア・ガマデータ拡張を適用することで完全な局所的共役性を達成し、すべての潜在変数に対して閉形式ギブスサンプリングを可能にする。
• カウント値のエッジを有する重み付きネットワークへの拡張のために、ガンマ・ポアソン構成を用いる。
• クラスタ割り当てには中国レストランテーブル（CRT）事前分布を、モデルパラメータにはガンマ・ノイズ階層事前分布を用いることで、非パrametricクラスタリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 階層的かつ深層的な潜在特徴モデルは、平坦で単層のモデルと比較して、複雑でスパースなネットワークにおけるリンク予測性能を向上させることができるか？
• RQ2 ノード属性（側情報）は、特にリンクが少ない、またはコールドスタート状況下において、コミュニティ検出とリンク予測をどの程度効果的に向上させることができるか？
• RQ3 本モデルは、ノード数ではなくエッジ数に比例してスケーリングすることで、大規模でスパースなネットワークにおいても計算効率とスケーラビリティを維持できるか？
• RQ4 複数層の潜在特徴による階層的構造は、複雑なコミュニティ依存関係の捉え方をどの程度向上させ、解釈可能性を高められるか？

主な発見

• 提案モデルは、複数のベンチマークデータセットにおいて、LFRM や DeepWalk、GCN といった既存手法を上回る最先端のリンク予測性能を達成した。
• 側情報の統合により、スパースネットワークにおける性能が顕著に向上し、リンクが観測されていない新しいノードに対しても効果的なコールドスタート予測が可能になった。
• モデルはエッジ数に比例して効率的にスケーリングされ、ソーシャルネットワークや引用グラフなどの大規模でスパースな実世界ネットワークに適している。
• 複数層の潜在特徴による階層的構造のおかげで、コミュニティ所属の解釈性が向上し、複雑で相互に依存するクラスタ関係をよりよく捉えることができるようになった。
• ポリア・ガマ拡張の使用により、完全な局所的共役性と効率的なギブスサンプリングが実現され、推論コストは観測エッジ数に比例する。
• ガンマ・ポアソン構成により、重み付きネットワークへの自然な拡張が可能であり、同じ推論効率を維持したままのフレームワークを実現した。