[论文解读] Equivalence between LINE and Matrix Factorization

Qiao Wang, Zheng Wang+1 more|arXiv (Cornell University)|Jul 19, 2017

Scheduling and Optimization Algorithms参考文献 4被引用 5

一句话总结

本文证明了流行的网络嵌入方法LINE在数学上等价于矩阵分解：LINE(1st)对无向网络中顶点对的互信息（PMI）进行加倍后得到的矩阵进行分解，而LINE(2nd)则对有向网络中顶点-上下文对之间的PMI所构成的矩阵进行分解。这种等价性揭示了两种变体隐式分解了不同的邻近性矩阵，为LINE的扩展提供了理论基础。

ABSTRACT

LINE [1], as an efficient network embedding method, has shown its effectiveness in dealing with large-scale undirected, directed, and/or weighted networks. Particularly, it proposes to preserve both the local structure (represented by First-order Proximity) and global structure (represented by Second-order Proximity) of the network. In this study, we prove that LINE with these two proximities (LINE(1st) and LINE(2nd)) are actually factoring two different matrices separately. Specifically, LINE(1st) is factoring a matrix M (1), whose entries are the doubled Pointwise Mutual Information (PMI) of vertex pairs in undirected networks, shifted by a constant. LINE(2nd) is factoring a matrix M (2), whose entries are the PMI of vertex and context pairs in directed networks, shifted by a constant. We hope this finding would provide a basis for further extensions and generalizations of LINE.

研究动机与目标

• 正式建立LINE网络嵌入与矩阵分解之间的理论等价性。
• 分别识别LINE(1st)和LINE(2nd)在无向网络和有向网络中隐式分解的具体矩阵。
• 提供一个统一的理论框架，通过将其与矩阵分解关联来解释LINE的行为。
• 通过其矩阵分解的视角，为LINE的未来推广和改进提供理论基础。

提出的方法

• 证明LINE(2nd)（在有向网络中保持二阶邻近性）隐式分解了一个矩阵 $M^{(2)}$，其条目为顶点-上下文对的PMI，再减去一个常数。
• 证明LINE(1st)（在无向网络中保持一阶邻近性）隐式分解了一个矩阵 $M^{(1)}$，其条目为顶点对的PMI的两倍，再减去一个常数。
• 使用按度数成比例分布的负采样方法，简化优化目标，并推导出隐式矩阵分解形式。
• 推导顶点嵌入之间最优点积作为PMI和采样参数的函数，表明 $\overrightarrow{v_j}^T \overrightarrow{v_i} = 2PMI(v_i,v_j) - \log k$。
• 应用Skip-Gram with Negative Sampling的理论结果，表明LINE(1st)和LINE(2nd)在相同原理下分别类似于隐式矩阵分解。
• 通过推导嵌入更新规则，验证等价性，证明学习到的嵌入满足矩阵分解目标。

实验结果

研究问题

• RQ1 LINE(1st)是否等价于由网络统计量导出的特定矩阵的分解？
• RQ2 LINE(2nd)是否等价于基于有向网络中顶点-上下文关系的矩阵的分解？
• RQ3 LINE所基于的隐式矩阵分解能否被形式化推导并表征？
• RQ4 PMI与度数统计量如何与LINE中学习到的嵌入相关联？
• RQ5 通过拼接LINE(1st)和LINE(2nd)嵌入的理论基础是什么？

主要发现

• LINE(1st)在数学上等价于对一个矩阵 $M^{(1)}$ 的分解，其中每个条目 $M^{(1)}_{ij}$ 等于顶点 $v_i$ 和 $v_j$ 的点互信息（PMI）的两倍，再减去一个常数 $\log k$。
• LINE(2nd)等价于对一个矩阵 $M^{(2)}$ 的分解，其中每个条目 $M^{(2)}_{ij}$ 对应于顶点 $v_i$ 与上下文 $v_j$ 之间的PMI，再减去一个常数。
• 该等价性在负采样遵循按度数成比例分布的假设下成立，这简化了推导过程，同时保留了核心优化结构。
• 推导出的嵌入点积 $\overrightarrow{v_j}^T \overrightarrow{v_i}$ 直接对应于 $2PMI(v_i,v_j) - \log k$，从而证实了LINE(1st)的PMI解释。
• 理论上的等价性为LINE表现良好的原因提供了原则性理解，并为基于矩阵分解理论的未来扩展提供了可能。
• 研究结果将对LINE的理解从启发式设计推广到更广范围，表明其本质上是一种具有清晰统计基础的隐式矩阵分解形式。