[论文解读] Comprehend DeepWalk as Matrix Factorization

Cheng Yang, Zhiyuan Liu|arXiv (Cornell University)|Jan 2, 2015

Topic Modeling参考文献 6被引用 20

一句话总结

本文证明了DeepWalk在数学上等价于矩阵分解，其中节点嵌入通过分解矩阵M实现，M的条目表示在随机游走过程中，节点作为上下文节点在固定窗口内出现的期望次数的对数。主要贡献在于揭示了DeepWalk的负采样（Negative Sampling）与Softmax变体均隐式地对一个源自节点-上下文共现统计的矩阵进行分解，其中M捕捉了节点间随机游走转移概率的对数期望。

ABSTRACT

Word2vec, as an efficient tool for learning vector representation of words has shown its effectiveness in many natural language processing tasks. Mikolov et al. issued Skip-Gram and Negative Sampling model for developing this toolbox. Perozzi et al. introduced the Skip-Gram model into the study of social network for the first time, and designed an algorithm named DeepWalk for learning node embedding on a graph. We prove that the DeepWalk algorithm is actually factoring a matrix M where each entry M_{ij} is logarithm of the average probability that node i randomly walks to node j in fix steps.

研究动机与目标

• 形式化DeepWalk与矩阵分解之间的数学等价性。
• 分析DeepWalk的Skip-Gram带负采样与Softmax变体在隐式分解矩阵M时的机制。
• 将M的条目解释为节点间转移概率的对数变换。
• 阐明采样策略与归一化在塑造学习到的节点表示中的作用。

提出的方法

• 推导Skip-Gram带负采样的目标函数，并证明优化该函数等价于对类似PMI的矩阵进行隐式矩阵分解。
• 制定基于Softmax的目标函数，并证明其最优解对应于一个矩阵M，其条目为节点-上下文共现条件概率的对数。
• 将矩阵M定义为M_ij = log(#(v_i,c_j)/#(v_i)) + b_v_i，其中b_v_i为节点特定的偏置项。
• 利用理想化的随机游走采样过程，证明#(v_i,c_j)/#(v_i)近似于从节点i出发在t步内到达节点j的平均概率。
• 建立M_ij与节点i在随机游走中其上下文窗口内节点j被访问的期望次数的对数成正比的联系。
• 证明该矩阵分解等价于对对数共现矩阵的低秩逼近，从而将DeepWalk与经典矩阵分解方法联系起来。

实验结果

研究问题

• RQ1 DeepWalk中的Skip-Gram带负采样模型与矩阵分解有何关联？
• RQ2 在负采样目标下，DeepWalk训练过程中隐式分解的是哪个矩阵？
• RQ3 与负采样相比，DeepWalk的Softmax变体在底层矩阵分解方面有何异同？
• RQ4 矩阵M中条目的概率解释是什么？
• RQ5 随机游走采样策略如何影响矩阵M的结构？

主要发现

• 使用负采样的DeepWalk算法隐式分解了一个矩阵M，其中每个条目M_ij为节点-上下文对(v_i, c_j)的点互信息（PMI），并偏移了log k。
• 对于Softmax变体，最优嵌入点积满足v_i · c_j = log(#(v_i,c_j)/#(v_i)) + b_v_i，表明M_ij为条件共现概率的对数。
• 在理想随机游走采样下，比率#(v_i,c_j)/#(v_i)对应于节点j在节点i周围大小为t的窗口内出现的平均概率。
• 矩阵M_ij = log(#(v_i,c_j)/#(v_i))等价于通过随机游走从节点i到节点j在t步内的平均转移概率的对数。
• 当使用b_v_i = log(2t)进行归一化时，M_ij成为节点j在节点i上下文窗口中出现的期望次数的对数。
• 本文确立了DeepWalk本质上是一种在节点-上下文共现统计的对数变换上进行的矩阵分解方法。