[论文解读] Comparing network covers using mutual information

Alcides Viamontes Esquivel, Martin Rosvall|arXiv (Cornell University)|Feb 2, 2012

Complex Network Analysis Techniques参考文献 2被引用 14

一句话总结

本论文提出一种新颖方法，通过引入一种扩展的随机过程，利用互信息比较网络覆盖（其中节点可属于多个模块），该过程通过上下文依赖采样消除重叠成员关系的歧义。该方法保留了标准互信息定义，与分区比较保持一致，并可通过采样实现误差估计，使其适用于网络以外的一般集合到集合的二元关系。

ABSTRACT

In network science, researchers often use mutual information to understand the difference between network partitions produced by community detection methods. Here we extend the use of mutual information to covers, that is, the cases where a node can belong to more than one module. In our proposed solution, the underlying stochastic process used to compare partitions is extended to deal with covers, and the random variables of the new process are simply fed into the usual definition of mutual information. With partitions, our extended process behaves exactly as the conventional approach for partitions, and thus, the mutual information values obtained are the same. We also describe how to perform sampling and do error estimation for our extended process, as both are necessary steps for a practical application of this measure. The stochastic process that we define here is not only applicable to networks, but can also be used to compare more general set-to-set binary relations.

研究动机与目标

• 将原本专为非重叠网络分区设计的传统互信息框架扩展至处理节点可属于多个模块的重叠网络覆盖。
• 解决使用标准计数方法比较等价覆盖时互信息值不一致的问题，该方法无法使最大互信息等于香农熵。
• 开发一种随机过程，为覆盖中节点分配上下文依赖的成员关系，从而在不修改其定义的前提下实现互信息的一致应用。
• 通过在覆盖实际为分区时退化为标准互信息，确保该方法与现有分区比较保持兼容。
• 为互信息计算提供一个实用的误差估计与采样框架，这对于现实世界网络分析至关重要。

提出的方法

• 引入一种随机过程，通过采样节点与二元指示符（0 或 1）的交错序列，模拟上下文依赖的节点-模块分配。
• 定义函数 $ J_M $，对于每个交错序列，通过根据二元指示符应用交集（$ s^* $）或差集（$ s^- $）操作来维护一组活跃模块，确保最终仅剩一个模块。
• 将样本空间限制为使 $ J_M $ 恰好产生一个模块的交错序列（即 $ |J_M(i)| = 1 $），以确保互信息计算中随机变量的明确定义。
• 将两个覆盖 $ M_1 $ 与 $ M_2 $ 之间的互信息定义为随机变量 $ J_{M_1}(I_E) $ 与 $ J_{M_2}(I_E) $ 之间的互信息，使用标准公式 $ I(X;Y) = \sum_{x,y} p(x,y) \log_2\left(\frac{p(x,y)}{p(x)p(y)}\right) $。
• 通过在有效交错序列集合上进行均匀采样来估计概率并计算互信息，从而通过统计采样实现误差估计。
• 证明当覆盖中所有模块在节点内容上互不相同时，该过程始终输出唯一一个模块，从而确保输出的明确定义与理论框架的一致性。

实验结果

研究问题

• RQ1 如何在重叠模块的网络覆盖中一致地应用互信息，以解决标准计数方法在比较等价覆盖时无法保持最大互信息等于香农熵的问题？
• RQ2 何种随机过程可消除覆盖中节点多重成员关系的歧义，从而在不改变互信息定义的前提下实现其原理性应用？
• RQ3 在何种条件下，所提出的随机过程能为每个交错序列产生唯一一个模块，从而确保互信息计算中随机变量的明确定义？
• RQ4 如何将采样与误差估计整合进覆盖的互信息计算中，以支持实际的大规模网络分析？
• RQ5 该方法能否推广至网络之外，用于比较任意集合到集合的二元关系？

主要发现

• 所提出的随机过程确保当覆盖实际为分区时，其互信息值与标准计数方法所得结果完全一致，从而保持了与现有方法的一致性。
• 该方法在比较等价覆盖时能正确赋予最大互信息等于香农熵，解决了标准计数方法的关键缺陷。
• 扩展后的过程是明确定义的，当覆盖中所有模块在节点内容上互不相同时，每个有效交错序列均输出唯一一个模块，如附录 B 所证明。
• 对有效交错序列集合的采样支持了互信息的实用计算，并可控制误差边界，适用于现实世界应用。
• 该框架具有通用性，可推广至网络之外，适用于比较任意一对集合到集合的二元关系，不限于网络结构。
• 该方法保持了与现有互信息理论的兼容性，无需修改标准公式，同时扩展了其适用范围。