[论文解读] Estimating Graph Dimension with Cross-validated Eigenvalues

Fan Chen, Sébastien Roch+2 more|arXiv (Cornell University)|Aug 6, 2021

Random Matrices and Applications参考文献 54被引用 4

一句话总结

该论文提出了一种基于交叉验证的方法——特征向量交叉验证（Eigenvector Cross-Validation, EigCV），用于在无参数假设下估计随机图模型中的潜在维度 $k$。通过将邻接矩阵划分为训练集和测试集，该方法计算交叉验证后的特征值，以检验每个样本特征向量是否与真实潜在空间正交，从而在广泛模型类下实现 $k$ 的一致估计，尤其在传统碎块图（scree plots）失效的稀疏或高维设置中表现优异。

ABSTRACT

In applied multivariate statistics, estimating the number of latent dimensions or the number of clusters, $k$, is a fundamental and recurring problem. We study a sequence of statistics called "cross-validated eigenvalues." Under a large class of random graph models, including both Poisson and Bernoulli edges, without parametric assumptions, we provide a $p$-value for each cross-validated eigenvalue. It tests the null hypothesis that the sample eigenvector is orthogonal to (i.e., uncorrelated with) the true latent dimensions. This approach naturally adapts to problems where some dimensions are not statistically detectable. In scenarios where all $k$ dimensions can be estimated, we show that our procedure consistently estimates $k$. In simulations and data example, the proposed estimator compares favorably to alternative approaches in both computational and statistical performance.

研究动机与目标

• 为解决在传统碎块图因样本特征值偏差而失效时，估计随机图模型中潜在维度数量 $k$ 的长期挑战。
• 开发一种方法，以适应仅部分 $k$ 个维度在统计上可检测的场景。
• 提供一种非参数、计算高效的 $k$ 估计方法，即使在稀疏图中也能保持统计功效。
• 为每个特征向量提供正式的假设检验，通过交叉验证的特征值评估其与真实潜在结构的相关性。

提出的方法

• 该方法通过二项薄化（binomial thinning）以概率 $1-\varepsilon$ 将邻接矩阵 $A$ 划分为两个独立矩阵 $\tilde{A}$ 和 $\tilde{A}_{\text{test}}$，确保在原假设下两者同分布。
• 使用归一化并正则化的邻接矩阵 $L = DAD$，其中 $D_{ii} = (d_i + \tau)^{-1/2}$，以在稀疏图中稳定谱性质。
• 对 $\tilde{A}$ 的每个特征向量，计算其交叉验证特征值 $\lambda_{\text{cv}}$，即该特征向量与测试矩阵 $\tilde{A}_{\text{test}}$ 的内积。
• 在原假设（即特征向量与真实潜在空间正交）下，利用中心极限定理推导每个特征向量的 $p$-值，作为检验统计量的分布。
• 将 $p$-值低于阈值的显著特征向量数量作为估计的 $k$，当所有 $k$ 个维度均可检测时，该方法可保证一致性。
• 该方法对模型误设具有鲁棒性，在伯努利和泊松边分布下表现良好，且在更高折数的交叉验证中性能更优。

实验结果

研究问题

• RQ1 交叉验证框架是否能改善在传统碎块图因特征值偏差而失效的随机图中潜在维度的检测？
• RQ2 如何正式检验一个样本特征向量是否真正与潜在空间中的总体特征向量相关？
• RQ3 当仅部分 $k$ 个维度在统计上可检测时，所提方法是否仍能保持对 $k$ 的一致估计？
• RQ4 在稀疏图中，该方法是否仍能保持稳健，因为标准谱方法已知存在偏差？
• RQ5 交叉验证的折数对每个特征向量假设检验的 I 类错误率和统计功效有何影响？

主要发现

• 当所有 $k$ 个维度均可检测时，EigCV 一致估计 $k$，在较弱可识别性条件下证明了其一致性。
• 在模拟实验中，与 StGoF、BHMC 和 NCV 等替代方法相比，EigCV 在稀疏图中表现出更低的相对误差和更小的变异性。
• 在一个包含 22,688 个节点的真实电子邮件网络中，EigCV 估计 $k = 30.56$，显著优于 BHMC（$14.00$）和 LR（$13.00$），且运行时间更快（0.81 秒 vs. 128.17 秒）。
• 该方法在伯努利和泊松边模型下均保持稳健，且泊松模型提供的标准误估计比伯努利模型更准确。
• 增加交叉验证的折数可降低检验统计量的方差，使 $T_2$ 更具功效，但使 $T_3$ 和 $T_4$ 更为保守，尽管其原假设分布仍近似正态。
• 交叉验证特征值检验为每个特征向量的统计显著性提供了一种合理、非参数的评估方式，避免了碎块图中人为的“拐点”检测。