[论文解读] Comparison of Cross-Validation Methods for Stochastic Block Models

Beau Dabbs, Brian W. Junker|arXiv (Cornell University)|May 10, 2016

Complex Network Analysis Techniques参考文献 22被引用 10

一句话总结

该论文提出 latinCV，一种用于随机块模型（SBMs）的新型交叉验证方法，通过在节点间平衡折叠分配的同时直接将边分配至折叠，显著提升了模型选择的准确性。latinCV 在减少过拟合和提高真实模型恢复准确率方面优于现有方法，包括网络交叉验证（NCV）、AIC、BIC、模块度最大化和 infomap，尤其在具有不同块结构的小型至中型网络中表现更优。

ABSTRACT

We introduce a novel cross-validation method that we call latinCV and we compare this method to other model selection methods using data generated from a stochastic block model. Comparing latinCV to other cross-validation methods, we show that latinCV performs similarly to a method described in \cite{hoff2008modeling} and that latinCV has a significantly larger true model recovery accuracy than the NCV method of \cite{chen2014network}. We also show that the reason for this discrepancy is related to the larger variance of the NCV estimate. Comparing latinCV to alternative model selection methods, we show that latinCV performs better than information criteria AIC and BIC, as well as the community detection method infomap and a routine that attempts to maximize modularity. The simulation study in this paper includes a range of network sizes and generative parameters for the stochastic block model that allow us to examine the relationship between model selection accuracy and the size and complexity of the model. Overall, latinCV performs more accurate model selection, and avoids overfitting better than any of the other model selection methods considered.

研究动机与目标

• 为解决网络数据中随机块模型（SBMs）缺乏有效模型选择方法的问题。
• 评估并比较各种交叉验证技术的性能，包括新提出的 latinCV 方法。
• 评估折叠分配策略对 SBMs 中模型选择准确率和风险估计的影响。
• 将交叉验证方法与 AIC、BIC、模块度最大化和 infomap 等替代模型选择程序进行比较。
• 确定折叠数量的最优值以及折叠分配均衡在提升模型恢复准确率中的作用。

提出的方法

• 提出 latinCV，一种 V 折交叉验证方法，通过在折叠间平衡节点参与度，确保每个节点的边指标在各折叠中分布均匀。
• 使用折叠分配矩阵 A 将每条边 Y_ij 映射到折叠 t，从而实现对不属于同一折叠的边进行训练。
• 利用损失函数 L 估计预测风险，通过对所有折叠中预测连接概率 p̂_ij^CV 与观测边指标 Y_ij 之间的经验损失取平均。
• 采用损失函数 L(Y_ij, p̂_ij^CV) 计算平均预测风险，目标是最小化模型选择中的均方误差。
• 将 latinCV 与 randomCV（随机边分配）、NCV（基于节点的折叠分配）以及 AIC、BIC、模块度最大化和 infomap 等替代方法进行比较。
• 通过不同网络规模（30、60 个节点）和 SBM 参数的模拟研究，评估模型恢复准确率和风险估计。

实验结果

研究问题

• RQ1 latinCV 在随机块模型的模型选择准确率方面与现有交叉验证方法（如 NCV、randomCV）相比如何？
• RQ2 折叠分配策略——尤其是节点平衡与边分配——对预测风险估计和模型恢复的影响是什么？
• RQ3 传统信息准则（AIC、BIC）和社区检测方法（模块度最大化、infomap）在恢复真实 SBM 结构方面相对于交叉验证的表现如何？
• RQ4 增加折叠数量（例如增加到 10 个）是否能提升 latinCV 和 randomCV 的模型选择准确率？当 V ≥ 10 时，折叠平衡是否仍为必要条件？
• RQ5 为何 NCV 的方差更高且性能劣于 latinCV？这对模型选择准确率有何影响？

主要发现

• latinCV 在真实模型恢复准确率上显著优于 NCV，主要归因于 NCV 在风险估计中具有更高的方差。
• 在所有网络规模和块配置下，latinCV 在选择正确块数方面优于 AIC、BIC、模块度最大化和 infomap。
• 对于 30 个节点的网络，模块度最大化在 4 个块模型中仅在 45 次试验中正确选择了真实模型 8 次（占 18%），在 5 个块模型中也仅正确选择 8 次，表明其在最小化均方误差方面表现不佳。
• 对于 60 个节点的网络，模块度最大化在 5 个块模型中仅在 45 次试验中正确选择真实模型 7 次，在 4 个块模型中仅 6 次，进一步证实其存在过拟合倾向。
• 当真实模型包含多个块时，BIC 表现与 latinCV 相当，但在更大网络中表现出更强的过拟合，表明其在预渐近设置下的设定可能不准确。
• 当折叠数达到 10 个或以上时，latinCV 与 randomCV 表现相近，表明在使用足够多折叠时，折叠平衡的重要性降低，且基于边的分配已足够实现准确的风险估计。