[论文解读] Minimax Rates in Network Analysis: Graphon Estimation, Community Detection and Hypothesis Testing

Chao Gao, Zongming Ma|arXiv (Cornell University)|Nov 14, 2018

Complex Network Analysis Techniques参考文献 103被引用 6

一句话总结

本文在稀疏网络框架下，为图网络分析的三个核心问题——图函数估计、社区检测和假设检验——建立了极小极大最优速率。通过使用先进的非参数与高维统计技术，推导出基本的统计极限与最优算法，将网络推断与更广泛的统计理论联系起来。

ABSTRACT

This paper surveys some recent developments in fundamental limits and optimal algorithms for network analysis. We focus on minimax optimal rates in three fundamental problems of network analysis: graphon estimation, community detection, and hypothesis testing. For each problem, we review state-of-the-art results in the literature followed by general principles behind the optimal procedures that lead to minimax estimation and testing. This allows us to connect problems in network analysis to other statistical inference problems from a general perspective.

研究动机与目标

• 在稀疏随机网络中，建立图函数估计、社区检测与假设检验的极小极大最优速率。
• 将网络分析问题统一于统一的极小极大统计框架下，将其与更广泛的非参数与高维推断理论联系起来。
• 研究当网络规模增长时边发生概率趋于零的稀疏网络模型中，统计估计与检验的基本极限。
• 探讨网络稀疏性、交换性与推断有效性之间的相互作用，特别是在样本外预测的背景下。
• 识别将现有方法推广至保持交换性并支持有效总体推断的替代稀疏性概念时的开放问题。

提出的方法

• 使用Aldous-Hoover表示法，通过对称图函数 $ f: [0,1]^2 \to [0,1] $ 建模网络连通性，其中潜变量 $ \xi_i \sim \text{Uniform}[0,1] $。
• 应用非参数回归技术，从观测到的邻接矩阵 $ A_{ij} \sim \text{Bernoulli}(f(\xi_i, \xi_j)) $ 中估计 $ f $，在 $ \max_{i<j} \theta_{ij} = o(1) $ 稀疏性条件下进行。
• 将子图计数（边、三角形、楔形）用作假设检验的检验统计量，并通过U统计量的中心极限定理推导其渐近正态性。
• 利用基于熵的极小极大理论推导图函数估计的极小极大速率，并通过信息论下界证明其最优性。
• 提出一种基于 $ \sqrt{\widehat{T}} - (\widehat{V}/\widehat{E})^{3/2} $ 的检验统计量，证明其在原假设下渐近服从正态分布，在备择假设下具有非中心性。
• 分析在社区数 $ k $ 增长时，随机块模型中社区结构可检测性的分离条件 $ \frac{n(p-q)^2}{k^{4/3}(p+q)} \to \infty $。

实验结果

研究问题

• RQ1 在稀疏随机网络中，图函数估计的极小极大最优速率是什么？
• RQ2 在随机块模型下，社区数 $ k $ 如何影响社区检测的可检测性阈值？
• RQ3 基于子图计数的简单、不变检验是否能在具有异质度的稀疏网络中实现最优检测功效？
• RQ4 诸如边交换性或随机测度等替代稀疏性概念，如何影响网络推断的基本极限？
• RQ5 当前的极小极大最优程序在多大程度上可推广至保持交换性但允许稀疏网络结构的模型？

主要发现

• 在 $ \max_{i<j} \theta_{ij} = o(1) $ 条件下，图函数估计的极小极大速率为 $ \Theta(n^{-1/2}) $，可通过基于 $ \xi_i $ 的平滑非参数回归实现。
• 在具有 $ k $ 个社区的随机块模型中，社区检测的可检测性阈值为 $ \frac{n(p-q)^2}{k^{4/3}(p+q)} \to \infty $，该结果近乎最优。
• 检验统计量 $ 2\sqrt{\binom{n}{3}} \left( \sqrt{\widehat{T}} - (\widehat{V}/\widehat{E})^{3/2} \right) $ 依分布收敛至 $ N(\delta, 1) $，从而在原假设下实现有效的第一类错误控制。
• 在原假设（Erdős–Rényi）下，该检验统计量渐近服从 $ N(0,1) $，允许使用标准正态分位数进行显著性检验。
• 所提出的检验对度异质性具有不变性，在真实网络（如Facebook邻里图）上表现良好，可视化结果展示了高p值与低p值图的对比。
• 本文指出了当前理论的一个缺口：尽管理论上已知最优速率，但多项式时间算法下图函数估计的最佳可实现速率仍不甚清楚。