[论文解读] Graph inference with clustering and false discovery rate control

Tabea Rebafka, Étienne Roquain+1 more|arXiv (Cornell University)|Jul 23, 2019

Bayesian Modeling and Causal Inference参考文献 39被引用 6

一句话总结

本文提出了一种新颖的图推理方法，通过变分期望最大化（VEM）聚类与错误发现率（FDR）控制相结合，识别噪声网络中的显著边。该方法利用随机块模型（SBM）的参数估计与社区结构，在控制FDR的同时最大化真正发现率（TDR），在温和的正则性条件下实现渐近最优性能。

ABSTRACT

In this paper, a noisy version of the stochastic block model (NSBM) is introduced and we investigate the three following statistical inferences in this model: estimation of the model parameters, clustering of the nodes and identification of the underlying graph. While the two first inferences are done by using a variational expectation-maximization (VEM) algorithm, the graph inference is done by controlling the false discovery rate (FDR), that is, the average proportion of errors among the edges declared significant, and by maximizing the true discovery rate (TDR), that is, the average proportion of edges declared significant among the true edges. Provided that the VEM algorithm provides reliable parameter estimates and clustering, we theoretically show that our procedure does control the FDR while satisfying an optimal TDR property, up to remainder terms that become small when the size of the graph grows. Numerical experiments show that our method outperforms the classical FDR controlling methods that ignore the underlying SBM topology. In addition, these simulations demonstrate that the FDR/TDR properties of our method are robust to model mis-specification, that is, are essentially maintained outside our model.

研究动机与目标

• 开发一个统一的图推理框架，联合建模网络数据中的聚类与边显著性。
• 解决两阶段方法的局限性，即图推理与聚类分别进行。
• 在存在噪声的情况下，控制边选择的错误发现率（FDR），同时最大化真正发现率（TDR）。
• 在噪声随机块模型（NSBM）下，确保FDR控制与TDR最优性的理论保证。
• 在现实世界网络设置中，模型误设情况下验证该方法的鲁棒性。

提出的方法

• 使用变分期望最大化（VEM）算法估计SBM参数并推断节点隶属关系。
• 基于估计的SBM下边检验统计量的q值，提出一种新颖的FDR控制程序。
• 引入ℓ值与q值以评估边显著性，同时考虑潜在的块结构。
• 对q值施加阈值规则以选择边，确保在预设水平α下的FDR控制。
• 该程序自适应于估计的SBM参数与聚类结构，以最大化TDR。
• 理论分析依赖于q值泛函的连续性与稳定性性质，以及浓度不等式。

实验结果

研究问题

• RQ1 通过整合来自聚类的潜在社区结构，能否改进图推理中的FDR控制？
• RQ2 将基于VEM的聚类与FDR控制相结合，是否相比标准方法能获得更高的真正发现率？
• RQ3 当模型出现误设（如偏离假设的NSBM）时，该方法表现如何？
• RQ4 在高维网络设置下，能否为FDR控制与TDR最优性建立理论保证？
• RQ5 当潜在SBM假设被违反时，该方法能否保持稳健性能？

主要发现

• 所提方法在名义水平α下控制错误发现率（FDR），且随着图规模增大，FDR渐近趋近于α。
• 该方法实现的真正发现率（TDR）渐近最优，剩余项随网络规模增大而消失。
• 数值实验表明，该方法优于忽略潜在SBM结构的经典FDR控制方法。
• 即使数据偏离假设的NSBM，FDR与TDR性能仍保持稳健，展现出强大的实际鲁棒性。
• 理论分析证实，在SBM参数与边分布的温和正则性条件下，FDR控制与TDR最优性得以保持。
• 在参数估计不确定性下，该方法性能稳定，因为VEM估计具有一致性，且即使存在中等程度的估计误差，该方法仍有效。