[论文解读] Finding the right scale of a network: Efficient identification of causal emergence through spectral clustering

Ross Griebenow, Brennan Klein+1 more|arXiv (Cornell University)|Aug 20, 2019

Complex Network Analysis Techniques参考文献 24被引用 6

一句话总结

该论文提出了一种基于谱聚类的方法，以高效识别优先连接网络中有信息量的宏观尺度表征，表明这些尺度在有效信息（EI）、确定性和网络效率方面显著优于微观尺度网络。该方法在速度和性能上均优于贪心法和梯度下降法，实现了大规模网络中因果涌现的可扩展检测。

ABSTRACT

All networks can be analyzed at multiple scales. A higher scale of a network is made up of macro-nodes: subgraphs that have been grouped into individual nodes. Recasting a network at higher scales can have useful effects, such as decreasing the uncertainty in the movement of random walkers across the network while also decreasing the size of the network. However, the task of finding such a macroscale representation is computationally difficult, as the set of all possible scales of a network grows exponentially with the number of nodes. Here we compare various methods for finding the most informative scale of preferential attachment networks, discovering that an approach based on spectral analysis outperforms greedy and gradient descent-based methods. We then use this procedure to show how several structural properties of these networks vary across scales. We describe how meso- and macroscale representations of networks can have significant benefits over their underlying microscale in terms of information transmission, which include properties such as increase in determinism, a decrease in degeneracy, a lower entropy rate of random walkers on the network, an increase in global network efficiency, and higher values for a variety of centrality measures than the microscale.

研究动机与目标

• 为解决在复杂网络中识别有信息量的宏观尺度表征所面临的计算挑战。
• 比较并评估不同算法——贪心法、梯度下降法和谱聚类——在不同网络尺度上检测因果涌现的能力。
• 证明宏观尺度网络相较于微观尺度网络在有效信息（EI）方面具有更高水平，表明存在因果涌现。
• 开发一种可扩展的方法，用于在大规模网络中识别有信息量的更高尺度，特别是在计算上具有挑战性的介观尺度区域。
• 提供一种公开可用的谱聚类方法实现，用于网络科学中的因果涌现检测。

提出的方法

• 该方法利用网络邻接矩阵的谱分解，识别节点自然聚类为宏观节点的方式。
• 应用改进的谱聚类算法，基于归一化拉普拉斯矩阵的特征向量，将微观节点划分为宏观节点。
• 为每个尺度计算有效信息（EI）度量：$EI = H(\langle W^{out}_i \rangle) - \langle H(W^{out}_i) \rangle$，用于量化随机游走转移中的确定性。
• 因果涌现被定义为宏观尺度相对于微观尺度的EI提升：$EI(G_M) - EI(G)$。
• 该算法评估多种划分方案，以找到EI值最大的划分，其性能与贪心法和梯度下降法基线进行比较。
• 该方法已实现为一个Python包，发布于github.com/jkbren/einet，以确保可复现性并支持广泛应用。

实验结果

研究问题

• RQ1 在优先连接网络中，贪心法、梯度下降法和谱聚类中哪种算法在识别有信息量的宏观尺度方面最有效？
• RQ2 在何种网络尺度（微观、介观、宏观）上检测因果涌现最为困难，原因是什么？
• RQ3 熵率、全局效率和中心性等关键网络属性在不同尺度上如何变化？
• RQ4 谱聚类是否能够在其他方法因计算限制而失效的大规模网络中可靠检测因果涌现？
• RQ5 与微观尺度网络相比，宏观尺度表征在多大程度上提升了信息传输能力和结构确定性？

主要发现

• 谱聚类在识别因果涌现方面优于贪心法和梯度下降法，不仅获得更高的EI值，且运行时间快了数个数量级。
• 介观尺度——以宏观节点大小异质为特征——被确定为检测有信息量尺度时计算上最具挑战性的区域。
• 宏观尺度网络中随机游走的熵率始终低于微观尺度网络，表明其转移过程的不确定性更低。
• 宏观尺度的全局网络效率有所提升，表明网络中信息传输能力得到改善。
• 多种中心性度量，包括介数中心性，在宏观尺度上高于微观尺度，表明节点的结构重要性得到增强。
• 谱聚类方法成功在真实世界中的蛋白质互作组网络中识别出因果涌现，验证了其在合成优先连接网络之外的适用性。