[论文解读] Algorithmic infeasibility of community detection in higher-order networks

Tatsuro Kawamoto|arXiv (Cornell University)|Oct 24, 2017

Complex Network Analysis Techniques参考文献 1被引用 5

一句话总结

本文表明，尽管具有多种边类型的高阶网络信息更丰富，但在社区检测中可能变得算法不可行。通过在标记的随机块模型上使用期望最大化（EM）算法与信念传播，作者分析推导出一个可检测性阈值，并证明在某些条件下，舍弃部分边类型可提升检测性能，揭示了低阶网络在某些阶段反而优于高阶网络的现象。

ABSTRACT

In principle, higher-order networks that have multiple edge types are more informative than their lower-order counterparts. In practice, however, excessively rich information may be algorithmically infeasible to extract. It requires an algorithm that assumes a high-dimensional model and such an algorithm may perform poorly or be extremely sensitive to the initial estimate of the model parameters. Herein, we address this problem of community detection through a detectability analysis. We focus on the expectation-maximization (EM) algorithm with belief propagation (BP), and analytically derive its algorithmic detectability threshold, i.e., the limit of the modular structure strength below which the algorithm can no longer detect any modular structures. The results indicate the existence of a phase in which the community detection of a lower-order network outperforms its higher-order counterpart.

研究动机与目标

• 探究具有多种边类型的高阶网络是否始终有利于社区检测。
• 分析在使用期望最大化（EM）与信念传播时，此类网络中社区检测的算法不可行性。
• 为标记随机块模型（标记SBM）中的EM算法推导出解析可检测性阈值。
• 确定在何种条件下低阶网络在社区检测中优于高阶网络。
• 为舍弃特定边类型以提升检测性能提供理论依据。

提出的方法

• 本研究采用包含 p+1 种边类型的标记随机块模型（标记SBM），其中包含非边（α=0），以建模高阶网络。
• 使用带有信念传播的EM算法推断隐含社区分配并估计模型参数，重点关注 cα=O(1) 的稀疏区域。
• 基于雅可比矩阵 B′ 的谱分析推导可检测性阈值，其特征值 λ_iso 和 λ_b 决定算法稳定性。
• 可检测性边界被解析表达为 ∑α>0 |Δcα| = 2√c，其中 Δcα = cα_in - cα_out，c 为总平均度数。
• 该方法评估信念传播方程中不动点的稳定性，识别算法无法恢复预设社区结构的情况。
• 通过数值验证分析，并进一步拓展表明，舍弃某些边类型可使原本不可检测的结构变得可检测。

实验结果

研究问题

• RQ1 高阶网络中多种边类型的共存是否始终提升社区检测性能？
• RQ2 在何种条件下，带有信念传播的EM算法无法检测高阶网络中的模块化结构？
• RQ3 在高阶网络中舍弃某些边类型是否可使社区检测性能优于使用全部边类型？
• RQ4 具有多种边类型的标记随机块模型中，社区检测的解析可检测性阈值是什么？
• RQ5 初始参数估计如何影响高阶网络中社区检测的算法不可行性？

主要发现

• 带有信念传播的EM算法表现出一个可检测性阈值，低于该阈值时，即使真实结构已被预设，也无法恢复任何模块化结构。
• 可检测性阈值被解析推导为 ∑α>0 |Δcα| = 2√c，其中 Δcα 表示边类型 α 在模块内与模块间连接密度的差异。
• 存在一个相变区域，在该区域内，仅含一种边类型的低阶网络性能优于包含多种边类型的高阶网络，原因在于后者的算法不可行性。
• 当初始参数估计接近均匀先验时，若 |λ_iso(B′)| ≤ 1，则算法无法恢复预设结构，该条件对应于阈值条件。
• 舍弃贡献较低或异质性较高的边类型，可使原本不可检测的模块化结构变得可检测，从而证实高阶模型中的算法不可行性。
• 可检测性边界是相图中虚线椭圆的切面，其形状取决于模型参数的初始估计。