[论文解读] Change-Point Detection in Dynamic Networks with Missing Links

Farida Enikeeva, Olga Klopp|arXiv (Cornell University)|Jun 28, 2021

Complex Network Analysis Techniques参考文献 36被引用 5

一句话总结

本文提出了一种基于最小最大最优矩阵 CUSUM 的检测方法，用于在存在缺失链接的动态网络中检测变化点，利用非参数图函数模型处理不断增长的网络规模和异质度数。该方法对缺失数据具有鲁棒性，并且即使在链接以随机速率观测时也能实现最优检测性能，仿真和对2012年伦敦奥运会期间伦敦自行车共享数据的真实世界分析验证了其有效性。

ABSTRACT

Structural changes occur in dynamic networks quite frequently and its detection is an important question in many situations such as fraud detection or cybersecurity. Real-life networks are often incompletely observed due to individual non-response or network size. In the present paper we consider the problem of change-point detection at a temporal sequence of partially observed networks. The goal is to test whether there is a change in the network parameters. Our approach is based on the Matrix CUSUM test statistic and allows growing size of networks. We show that the proposed test is minimax optimal and robust to missing links. We also demonstrate the good behavior of our approach in practice through simulation study and a real-data application.

研究动机与目标

• 解决由于采样或无响应导致链接部分观测时，动态网络中变化点检测的根本性问题。
• 建立在存在缺失数据的稀疏、增长型网络中变化点检测的最小最大分离率。
• 开发一种鲁棒且自适应的程序，即使在部分观测和网络规模变化下仍保持有效性。
• 通过非参数图函数模型将框架扩展至具有时变节点集的网络。
• 通过仿真和对伦敦交通局自行车共享数据的真实世界应用，对方法进行实证验证。

提出的方法

• 该方法采用矩阵 CUSUM 检验统计量，检测一系列部分观测图中潜在网络结构的变化。
• 采用改进的网络估计程序以处理缺失链接，假设边以已知速率随机且独立采样。
• 该方法基于非参数图函数模型，以适应具有演化节点集和异质度数的网络。
• 理论分析在 Frobenius 范数和谱范数下建立了检验的最小最大最优性，即使在网络规模增长时也成立。
• 该检验对缺失数据具有鲁棒性，在部分观测下具有检测性能的理论保证。
• 通过与 SMUCE 或 WBS 等分割技术结合，将方法扩展至多变化点检测。

实验结果

研究问题

• RQ1 在存在缺失链接的动态网络中，变化点检测的最小最大分离率是多少？
• RQ2 缺失数据如何影响网络序列中变化点定位的准确性？
• RQ3 在部分观测和网络规模增长的情况下，基于矩阵 CUSUM 的检验能否保持最小最大最优性？
• RQ4 当社区间连接的链接比社区内连接更频繁缺失时，该方法表现如何？
• RQ5 所提出的方法能否在大规模动态网络中检测到存在不完整数据的真实世界变化点？

主要发现

• 即使在网络规模增长时，矩阵 CUSUM 检验在检测存在缺失链接的动态网络中的变化点时仍能达到最小最大最优性。
• 该方法对缺失数据保持鲁棒性，当社区间链接更频繁缺失时，估计风险略有增加。
• 在仿真中，该检验能以低误差正确定位变化点，尤其在变化较强且链接完全观测时表现更佳。
• 在伦敦自行车共享网络的真实数据中，该检验于2012年7月22日检测到一个显著变化点，对应奥运圣火抵达，检验统计量为53.3311，超过0.05显著性水平的临界值40.5244。
• 该方法还在2012年8月12日检测到第二个变化点，即奥运会闭幕式，检验统计量为43.5854，临界值为41.7997，证实其对真实世界事件的敏感性。
• 理论和实证结果表明，缺失链接会降低可检测信号，尤其当变化发生在社区间连接时，这与此类情形下风险增加的观察结果一致。