[論文レビュー] Equivalence between LINE and Matrix Factorization

Qiao Wang, Zheng Wang+1 more|arXiv (Cornell University)|Jul 19, 2017

Scheduling and Optimization Algorithms参考文献 4被引用数 5

ひとこと要約

本稿では、人気のあるネットワーク埋め込み手法であるLINEが、数学的に行列因子分解と等価であることを確立している。LINE(1st)は、無向ネットワークにおける頂点ペアのポイントワイズ相互情報量（PMI）を2倍にした行列を因子分解するが、LINE(2nd)は、有向ネットワークにおける頂点-コンテキストペアのPMIに基づく行列を因子分解する。この等価性は、両バージョンがそれぞれ異なる近接性行列を暗黙的に因子分解していることを示しており、LINEの拡張の理論的基盤を提供する。

ABSTRACT

LINE [1], as an efficient network embedding method, has shown its effectiveness in dealing with large-scale undirected, directed, and/or weighted networks. Particularly, it proposes to preserve both the local structure (represented by First-order Proximity) and global structure (represented by Second-order Proximity) of the network. In this study, we prove that LINE with these two proximities (LINE(1st) and LINE(2nd)) are actually factoring two different matrices separately. Specifically, LINE(1st) is factoring a matrix M (1), whose entries are the doubled Pointwise Mutual Information (PMI) of vertex pairs in undirected networks, shifted by a constant. LINE(2nd) is factoring a matrix M (2), whose entries are the PMI of vertex and context pairs in directed networks, shifted by a constant. We hope this finding would provide a basis for further extensions and generalizations of LINE.

研究の動機と目的

• LINEネットワーク埋め込みと行列因子分解の間の理論的等価性を形式的に確立すること。
• 無向ネットワークにおけるLINE(1st)と有向ネットワークにおけるLINE(2nd)がそれぞれ暗黙的に因子分解する特定の行列を同定すること。
• LINEの挙動を行列因子分解と結びつける統一された理論的枠組みを提供すること。
• 行列因子分解の解釈を通じて、LINEの将来の一般化と改善の基盤を提供すること。

提案手法

• LINE(2nd)が有向ネットワークにおける2階近接性を保持するという事実を根拠に、頂点-コンテキストペアのPMIに基づく行列 $M^{(2)}$ を暗黙的に因子分解していることを証明する。この行列の各要素は定数分だけシフトされている。
• LINE(1st)が無向ネットワークにおける1階近接性を保持するという事実を根拠に、頂点ペアのPMIを2倍にした行列 $M^{(1)}$ を暗黙的に因子分解していることを証明する。この行列の各要素は定数分だけシフトされている。
• 度数に比例する分布に従う負例サンプリングを用いて最適化目的を簡略化し、暗黙の行列因子分解形式を導出する。
• 頂点埋め込みの最適なドット積をPMIおよびサンプリングパラメータの関数として導出し、$\overrightarrow{v_j}^T \overrightarrow{v_i} = 2PMI(v_i,v_j) - \log k$ が成り立つことを示す。
• スキップグラムにおける負例サンプリングの理論的結果を応用し、LINE(1st)とLINE(2nd)が同じ原理に基づいて暗黙の行列因子分解と類似していることを示す。
• 埋め込みの更新ルールを導出することで、学習済み埋め込みが行列因子分解の目的関数を満たすことを実証し、等価性を検証する。

実験結果

リサーチクエスチョン

• RQ1 LINE(1st)は、ネットワーク統計から導かれる特定の行列の因子分解と等価か？
• RQ2 LINE(2nd)は、有向ネットワークにおける頂点-コンテキスト関係に基づく行列の因子分解と等価か？
• RQ3 LINEの背後にある暗黙の行列因子分解を形式的に導出し、特徴づけられるか？
• RQ4 PMIおよび度数統計は、LINEで学習された埋め込みとどのように関係するか？
• RQ5 LINE(1st)とLINE(2nd)の埋め込みを連結する理論的根拠は何か？

主な発見

• LINE(1st)は、数学的に行列 $M^{(1)}$ の因子分解と等価であり、各要素 $M^{(1)}_{ij}$ は頂点 $v_i$ と $v_j$ のポイントワイズ相互情報量（PMI）の2倍から定数 $\log k$ を引いたものに等しい。
• LINE(2nd)は、頂点 $v_i$ とコンテキスト $v_j$ 間のPMIに対応する行列 $M^{(2)}$ の因子分解と等価であり、定数分だけシフトされている。
• 負例サンプリングが度数に比例する分布に従うという仮定のもとで等価性が成立し、導出を簡略化しながらも、コアな最適化構造を保持する。
• 導出された埋め込みのドット積 $\overrightarrow{v_j}^T \overrightarrow{v_i}$ は、直接的に $2PMI(v_i,v_j) - \log k$ に一致し、LINE(1st)のPMIに基づく解釈が裏付けられる。
• 理論的等価性により、LINEが優れた性能を発揮する理由が原理的かつ明確に理解可能となり、行列因子分解理論に基づく将来の拡張が可能になる。
• 結果として、HEURISTICな設計を超えてLINEの理解が一般化され、明確な統計的根拠を持つ暗黙の行列因子分解の一種であることが示された。