[论文解读] Established Clustering Procedures for Network Analysis

Paul B. Slater|arXiv (Cornell University)|Jun 25, 2008

Graph theory and applications参考文献 2被引用 7

一句话总结

本文提出一种两阶段聚类方法——双比例标准化后接阈值化有向图的层次聚类——用于分析加权有向网络（如国内人口迁移流动）。该方法揭示了枢纽结构与孤立区域，关键结果表明巴黎等国际化中心城市以及撒丁岛和新英格兰等地理上孤立的区域被识别为独立聚类。

ABSTRACT

In light of the burgeoning interest in network analysis in the new millenium, we bring to the attention of contemporary network theorists, a two-stage double-standarization and hierarchical clustering (single-linkage-like) procedure devised in 1974. In its many applications over the next decade--primarily to the migration flows between geographic subdivisions within nations--the presence was often revealed of ``hubs''. These are, typically, ``cosmopolitan/non-provincial'' areas--such as the French capital, Paris--which send and receive people relatively broadly across their respective nations. Additionally, this two-stage procedure--which ``might very well be the most successful application of cluster analysis'' (R. C. Dubes)--has detected many (physically or socially) isolated groups (regions) of areas, such as those forming the southern islands, Shikoku and Kyushu, of Japan, the Italian islands of Sardinia and Sicily, and the New England region of the United States. Further, we discuss a (complementary) approach developed in 1976, involving the application of the max-flow/min-cut theorem to raw/non-standardized flows.

研究动机与目标

• 复兴并突出20世纪70年代已验证的聚类方法，该方法在现代网络理论中被长期忽视。
• 展示该方法在检测加权有向流动网络中类似枢纽的结构与地理上孤立区域方面的有效性。
• 通过展示其在现代网络（如网络与互联网）中的相关性，弥合人口迁移研究早期应用与当代网络科学之间的鸿沟。
• 为将该方法应用于迁移之外的各类加权网络数据提供技术和概念基础。
• 倡导将这一稳健且经实证验证的方法整合进当前的网络分析工具包中。

提出的方法

• 对N×N流动矩阵应用双比例缩放（双随机归一化），使行和列的和均标准化为1，消除边际规模效应，同时保持交叉乘积比不变。
• 通过迭代更新行与列的乘数，使矩阵收敛至双随机矩阵，该收敛在广泛条件下可保证，并由Sinkhorn-Knopp定理支持。
• 通过逐步降低矩阵元素的阈值，将标准化后的矩阵转换为一系列有向(0,1)图。
• 在阈值化有向图上采用类似单链接聚类的方法构建层次树状图，表示随着阈值降低，连通分量逐步合并的过程。
• 采用Tarjan的高效O(M log N)算法计算有向图中的强连通分量，以加速阈值化图中连通分量的检测。
• 在原始未标准化流动数据上，结合多终端最大流/最小割方法，基于最小边割识别节点聚类。

实验结果

研究问题

• RQ1 结合标准化与层次聚类的两阶段聚类程序是否能有效揭示网络流动数据中的结构特征，如枢纽与孤立区域？
• RQ2 该方法的结果在多大程度上与现代网络理论中的优先连接与无标度网络等概念相一致？
• RQ3 为何该方法尽管已被证明有效，却在近期网络科学文献中被长期忽视？
• RQ4 该方法所得的结构洞见与现代模型（如Erdös-Rényi与Watts-Strogatz模型）所得结果相比如何？
• RQ5 该方法能否推广并应用于现代加权网络（如网络或互联网基础设施）？

主要发现

• 两阶段流程成功识别出巴黎作为具有广泛人口流入与流出的国际化枢纽，与其作为国家中心的角色一致。
• 该方法检测到地理上孤立的区域，如意大利的撒丁岛与西西里岛、日本的四国与九州岛，以及美国的新英格兰地区，均表现为独立聚类。
• 通过树状图可视化，层次聚类过程揭示了随着阈值降低而逐步浮现的强连通分量嵌套结构，表明存在层次化的连通模式。
• 在原始流动数据上应用最大流/最小割方法，识别出如西班牙的巴达霍斯（Badajoz）等具有显著外迁影响的节点聚类，以及西班牙巴斯克地区的比斯开（Vizcaya）等具有广泛流入影响的聚类。
• 该方法使用双随机矩阵，保留了相对关联度量（交叉乘积比），确保在标准化过程中保持不变性。
• 该流程成功应用于大规模数据集，包括一个3,140×3,140的美国县际迁移表，证明了其可扩展性与鲁棒性。