[论文解读] Hermitian matrices for clustering directed graphs: insights and applications

Mihai Cucuringu, Huan Li+2 more|arXiv (Cornell University)|Aug 6, 2019

Graph theory and applications参考文献 3被引用 13

一句话总结

本文提出一种基于复数酉邻接矩阵的谱聚类算法，用于有向图，通过虚数单位编码边的方向，能够检测非对称的聚类结构。在真实世界的迁移网络和博客网络上，该方法优于现有方法，揭示了方向性迁移模式和政治博客链接的不平衡性，其中 Herm-RW 方法在剪切不平衡度评分上表现最高。

ABSTRACT

Graph clustering is a basic technique in machine learning, and has widespread applications in different domains. While spectral techniques have been successfully applied for clustering undirected graphs, the performance of spectral clustering algorithms for directed graphs (digraphs) is not in general satisfactory: these algorithms usually require symmetrising the matrix representing a digraph, and typical objective functions for undirected graph clustering do not capture cluster-structures in which the information given by the direction of the edges is crucial. To overcome these downsides, we propose a spectral clustering algorithm based on a complex-valued matrix representation of digraphs. We analyse its theoretical performance on a Stochastic Block Model for digraphs in which the cluster-structure is given not only by variations in edge densities, but also by the direction of the edges. The significance of our work is highlighted on a data set pertaining to internal migration in the United States: while previous spectral clustering algorithms for digraphs can only reveal that people are more likely to move between counties that are geographically close, our approach is able to cluster together counties with a similar socio-economical profile even when they are geographically distant, and illustrates how people tend to move from rural to more urbanised areas.

研究动机与目标

• 为解决标准谱聚类在有向图上的局限性，即由于邻接矩阵的对称化而无法捕捉边的方向性模式。
• 开发一种聚类框架，保留并利用有向图中的边方向性，尤其在聚类结构由非对称连通性定义的情况下。
• 提出一种具有不平衡边方向概率的有向随机块模型（DSBM），用于建模和评估有向图上的聚类性能。
• 通过实证验证该方法在真实数据集上的表现，包括美国国内迁移和政治博客网络，其中方向性模式至关重要。
• 证明所提方法能揭示更高阶的结构模式，如从农村地区向城市地区的迁移，超越地理或密度基聚类。

提出的方法

• 构建一个复数酉邻接矩阵 $ A \in \mathbb{C}^{N \times N} $，其中若存在有向边 $ u \to v $，则 $ A_{u,v} = i $ 且 $ A_{v,u} = -i $，确保所有特征值为实数。
• 将该酉矩阵的前 k 个特征向量用作 k-均值聚类的输入特征，将图划分为 k 个聚类。
• 引入剪切不平衡度量 $ \text{CI}(X,Y) = \left| \frac{w(X,Y)}{w(X,Y)+w(Y,X)} - \frac{1}{2} \right| $，用于量化聚类 $ X $ 与 $ Y $ 之间的方向不对称性，可通过大小或体积进行归一化。
• 提出两种变体：Herm（在酉矩阵上进行标准谱聚类）和 Herm-RW（随机游走归一化版本），以提高鲁棒性。
• 通过将原始迁移或超链接数据转换为反对称矩阵 $ G = \widetilde{M} - \widetilde{M}^T $（其中 $ \widetilde{M}_{j\ell} = M_{j\ell}/(M_{j\ell} + M_{\ell j}) $）后，构建酉矩阵，应用于真实数据集。
• 使用归一化剪切不平衡度评分 $ \text{CI}^{\text{size}} $ 和 $ \text{CI}^{\text{vol}} $ 评估性能，数值越高表示方向性聚类结构越强。

实验结果

研究问题

• RQ1 复数酉矩阵表示能否有效捕捉标准谱聚类失效的有向图中方向性聚类结构？
• RQ2 所提方法在检测真实世界数据中具有意义的非平凡聚类模式方面，相较于现有有向图谱聚类算法表现如何？
• RQ3 剪切不平衡度量 $ \text{CI}^{\text{vol}} $ 在多大程度上能识别并量化美国迁移网络和博客网络等网络中的方向性迁移或信息流模式？
• RQ4 使用具有非对称边概率的有向随机块模型（DSBM）是否能实现对有向图聚类性能更优的理论与实证评估？
• RQ5 该方法能否揭示更高阶的结构模式——如从农村到城市的大型方向性流动——超越简单的地理或密度基聚类？

主要发现

• 在美国迁移数据集上，当 $ k=10 $ 时，Herm-RW 在聚类对中取得了最高的 $ \text{CI}^{\text{vol}} $ 评分，显著优于 DISGLR 和 DD-Sym。
• 当 $ k=20 $ 时，Herm 和 Herm-RW 的 $ \text{CI}^{\text{vol}} $ 评分持续高于所有其他方法，表明其对聚类数量具有鲁棒性。
• Herm-RW 方法识别出从弗吉尼亚州和南北卡罗来纳州的农村县向纽约、芝加哥及佛罗里达州东海岸城市中心的迁移模式，其中 68% 的跨聚类边从绿色聚类指向红色聚类。
• 在 BLOG 网络上，Herm-RW 在所有 $ k $ 值下表现最佳，其顶级聚类对的 $ \text{CI}^{\text{vol}} $ 评分最高，尤其在 $ k=2 $ 时，与已知的共和党-民主党政治分化一致。
• 热力图可视化显示，Herm 和 Herm-RW 产生了指示强方向性不平衡的非对角块结构，而 DISGLR 和 DD-Sym 则表现出典型密度基聚类的块对角结构。
• 所提出的 DSBM 模型成功捕捉了方向性聚类结构，使在具有已知真实标签的合成数据上对算法性能进行理论分析与验证成为可能。