[論文レビュー] Structural Deep Embedding for Hyper-Networks

Ke Tu, Peng Cui+3 more|arXiv (Cornell University)|Nov 28, 2017

Advanced Graph Neural Networks被引用数 73

ひとこと要約

DHNE は非分解可能なハイパーエッジを持つ異種ハイパーネットワークのノード埋め込みを、非線形のタプルワイズ類似度関数と2次近傍オートエンコーダを用いて学習し、複数のデータセットで最先端のベースラインを上回る。

ABSTRACT

Network embedding has recently attracted lots of attentions in data mining. Existing network embedding methods mainly focus on networks with pairwise relationships. In real world, however, the relationships among data points could go beyond pairwise, i.e., three or more objects are involved in each relationship represented by a hyperedge, thus forming hyper-networks. These hyper-networks pose great challenges to existing network embedding methods when the hyperedges are indecomposable, that is to say, any subset of nodes in a hyperedge cannot form another hyperedge. These indecomposable hyperedges are especially common in heterogeneous networks. In this paper, we propose a novel Deep Hyper-Network Embedding (DHNE) model to embed hyper-networks with indecomposable hyperedges. More specifically, we theoretically prove that any linear similarity metric in embedding space commonly used in existing methods cannot maintain the indecomposibility property in hyper-networks, and thus propose a new deep model to realize a non-linear tuplewise similarity function while preserving both local and global proximities in the formed embedding space. We conduct extensive experiments on four different types of hyper-networks, including a GPS network, an online social network, a drug network and a semantic network. The empirical results demonstrate that our method can significantly and consistently outperform the state-of-the-art algorithms.

研究の動機と目的

• 多様な異種ハイパーネットワークにおける分解不能な高次関係を解決する。
• 埋め込みにおける局所的（一次）およびグローバル的（二次）の近さを保持する。
• 分解不能性の問題を避けるための非線形なタプルワイズ類似度関数を提案する。
• タプルワイズ類似度モデルと近傍保持オートエンコーダを共同最適化する。
• 実世界の多様なハイパーネットワークデータセットで有効性とスケーラビリティを示す。

提案手法

• ハイパーエッジ内のすべてのノードに作用する indecomposable N-tuplewise similarity 関数を定義し、線形類似度が分解不能性を保持できないことを証明する。
• タプルワイズ類似度を深層ニューラルネットワークでモデリングし、非線性を確保するとともに、一次近接性と整合するようにシグモイドベースの損失を用いる。
• ハイパーネットワークの隣接（出現）行列に対して深いオートエンコーダを用い、二次近接性と隣接構造を保持する。
• 非線形タプルワイズ類似度ネットワークとオートエンコーダを結合損失 L = L1 + α L2 で共同最適化する。
• モデルを学習するために負サンプリングを用いた確率的勾配降下法を適用する。
• 新規ノードの隣接ベクトルを対応するオートエンコーダに通して外挿することで、アウトオブサンプル拡張を提供する。

実験結果

リサーチクエスチョン

• RQ1 線形のタプルワイズ類似度関数は埋め込みにおける分解不能なハイパーエッジ構造を保持できるか？
• RQ2 ハイパーネットワークにおいて一次近接性（入次数/エッジの存在）と二次近接性（隣接構造）を共同で保持するにはどうするべきか？
• RQ3 非線形のタプルワイズ深層モデルは、分解可能性に基づくベースラインやペアワイズベースの手法を超えるか？
• RQ4 提案手法 DHNE は大規模な異種ハイパーネットワークに対してスケーラブルか？

主な発見

方法	GPS	MovieLens	薬剤	wordnet
DHNE	0.9598	0.9344	0.9356	0.9073
tensor	0.9229	0.8640	0.7025	0.7771
HEBE	0.9337	0.8772	0.8236	0.7391

• DHNE は実世界の4つのハイパーネットワークにおけるネットワーク再構成で一貫してベースラインを上回った。
• sparse データセットに対して頑健であり、特にスパース性に敏感な領域でより大きな利得を示した。
• 分解不能性を保持しつつ二次近接性を取り入れることで、分解可能な高次関係を仮定した方法よりも予測性能が大幅に向上した。
• 非線形のタプルワイズ類似度とオートエンコーダベースの近接保持を共同最適化することで、局所的構造と全体的構造の両方を従来手法より良く保持した。
• 訓練の計算量はノード数に対して線形にスケールし、大規模適用が可能である。