[论文解读] Min-plus algebraic low rank matrix approximation: a new method for revealing structure in networks

James Hook|arXiv (Cornell University)|Aug 22, 2017

Tensor decomposition and applications被引用 4

一句话总结

本文提出了一种基于极小-加法代数的低秩矩阵近似方法，即极小-加法低秩矩阵近似。该方法使用极小-加法代数（其中极小取代加法，加法取代乘法）对网络中的最短路径距离进行建模，从而揭示网络的结构模式。与主成分分析（PCA）或奇异值分解（SVD）等经典方法不同，该方法能够检测非线性的、基于路径的网络结构。通过因子分解距离矩阵，该方法成功捕捉到了海豚群体的社会组织结构。

ABSTRACT

In this paper we introduce min-plus low rank matrix approximation. By using min and plus rather than plus and times as the basic operations in the matrix multiplication; min-plus low rank matrix approximation is able to detect characteristically different structures than classical low rank approximation techniques such as Principal Component Analysis (PCA). We also show how min-plus matrix algebra can be interpreted in terms of shortest paths through graphs, and consequently how min-plus low rank matrix approximation is able to find and express the predominant structure of a network.

研究动机与目标

• 开发一种基于极小-加法代数的新低秩矩阵近似技术，用于检测网络中的结构模式。
• 实现对经典线性方法（如PCA或SVD）可能遗漏的网络结构的检测，特别是基于路径关系的结构。
• 通过潜在邻域或中转点对网络距离矩阵进行可解释的因子分解。
• 在真实网络数据上，将极小-加法因子分解与截断SVD及非负矩阵因子分解（NNMF）在性能和可解释性方面进行比较。

提出的方法

• 使用半环 $(\mathbb{R}_{\min}, \oplus, \otimes)$ 形式化极小-加法矩阵代数，其中 $a \oplus b = \min(a,b)$ 且 $a \otimes b = a + b$。
• 定义极小-加法矩阵乘法，使得 $(A \otimes B)_{ij} = \min_k (a_{ik} + b_{kj})$，从而实现基于路径的计算。
• 利用优先图 $\Gamma(A)$ 解释极小-加法积作为最短路径权重，其中 $A^{\otimes \ell}_{ij}$ 表示长度为 $\ell$ 的最短路径。
• 应用Kleene星运算 $A^\star = I \oplus A \oplus A^{\otimes 2} \oplus \cdots$ 在无负环时计算所有点对之间的最短路径。
• 提出一种迭代算法（算法2）对距离矩阵 $D$ 进行极小-加法低秩因子分解，最小化残差 $\|D - F \otimes F^T\|_F$。
• 将因子矩阵 $F$ 解释为潜在邻域：$f_{ik}$ 值较小表示节点 $i$ 接近邻域 $k$，从而实现对结构的解释。

实验结果

研究问题

• RQ1 极小-加法低秩近似能否检测到经典低秩方法（如PCA或SVD）无法捕捉的网络结构模式？
• RQ2 在残差误差和可解释性方面，极小-加法因子分解与截断SVD及非负矩阵因子分解（NNMF）相比表现如何？
• RQ3 与邻接矩阵 $A$ 相比，对距离矩阵 $D$ 进行因子分解在多大程度上提升了对间接路径关系的检测能力？
• RQ4 极小-加法因子分解中的潜在因子能否被有意义地解释为网络中的邻域或中转点？
• RQ5 在真实案例（如海豚社会网络）中，极小-加法方法是否揭示了更准确或更有意义的底层网络拓扑表示？

主要发现

• 极小-加法低秩因子分解通过因子分解最短路径距离矩阵 $D$，成功捕捉了海豚社会网络的主要结构。
• 在极低秩和极高秩时，极小-加法因子分解的残差误差与截断SVD相当，但极小-加法方法在因子的可解释性方面表现更优。
• 因子矩阵 $F$ 的列代表潜在邻域：处于同一邻域附近的海豚在网络中也更可能彼此接近，从而可通过共享邻域的接近度实现聚类。
• 该方法通过在距离矩阵上操作，揭示了非线性的、基于路径的网络结构，而NNMF则在邻接矩阵上操作，忽略了间接连接。
• 因子分解结果在 $\mathbb{R}^3$ 中呈现出清晰的空间分布，其位置分布与实际网络结构在视觉上高度一致，证实了该方法保持拓扑关系的能力。
• 该方法对初始化具有鲁棒性，算法通过100次运行中选择残差误差最小的因子分解结果，展示了其实际可行性。