[论文解读] Bias-Variance Tradeoffs in Joint Spectral Embeddings

Benjamin Draves, Daniel L. Sussman|arXiv (Cornell University)|May 5, 2020

Complex Network Analysis Techniques参考文献 47被引用 4

一句话总结

本文分析了异质网络数据中联合谱嵌入的全量嵌入（omnibus embedding），建立了显式的有限样本偏差-方差权衡。推导了潜在位置估计的偏差、集中界和渐近正态性的解析表达式，即使在估计量不一致的情况下也能实现有效的统计推断，并在特征缩放随机内积图模型（Eigen-Scaling Random Dot Product Graph model）下，展示了在社区检测和假设检验中性能的提升。

ABSTRACT

Joint spectral embeddings facilitate analysis of multiple network data by simultaneously mapping vertices in each network to points in Euclidean space where statistical inference is then performed. In this work, we consider one such joint embedding technique, the omnibus embedding of arXiv:1705.09355 , which has been successfully used for community detection, anomaly detection, and hypothesis testing tasks. To date the theoretical properties of this method have only been established under the strong assumption that the networks are conditionally i.i.d. random dot product graphs. Herein, we take a first step in characterizing the theoretical properties of the omnibus embedding in the presence of heterogeneous network data. Under a latent position model, we show the omnibus embedding implicitly regularizes its latent position estimates which induces a finite-sample bias-variance tradeoff for latent position estimation. We establish an explicit bias expression, derive a uniform concentration bound on the residual, and prove a central limit theorem characterizing the distributional properties of these estimates. These explicit bias and variance expressions enable us to state sufficient conditions for exact recovery in community detection tasks and develop a pivotal test statistic to determine whether two graphs share the same set of latent positions; demonstrating that accurate inference is achievable despite the estimator's inconsistency. These results are demonstrated in several experimental settings where statistical procedures utilizing the omnibus embedding are competitive, and oftentimes preferable, to comparable embedding techniques. These observations accentuate the viability of the omnibus embedding for multiple graph inference beyond the homogeneous network setting.

研究动机与目标

• 刻画在异质网络模型下全量嵌入的有限样本行为，超越独立同分布假设。
• 识别并量化全量嵌入在潜在位置估计中引起的隐式偏差-方差权衡。
• 在存在网络异质性的情况下，为潜在位置估计建立理论保证——包括偏差表达式、集中性及渐近正态性。
• 尽管估计量不一致，仍实现有效的统计推断，包括社区检测中的精确恢复和枢轴假设检验。

提出的方法

• 提出特征缩放随机内积图模型（ESRDPG）作为异质网络模型，将RDPG扩展至多层网络。
• 在ESRDPG下，推导全量嵌入潜在位置估计的有限样本偏差的显式解析表达式。
• 建立潜在位置估计残差误差的统一集中界。
• 证明潜在位置估计的中心极限定理，表明其渐近正态性，并具有已知协方差结构。
• 基于渐近分布构建一个枢轴检验统计量，用于检验两幅图是否具有相同的潜在位置。
• 利用二阶delta方法和Slutsky定理，推导在原假设与备择假设下检验统计量的渐近分布。

实验结果

研究问题

• RQ1 当应用于异质网络数据时，全量嵌入在有限样本下的偏差性质是什么？
• RQ2 全量嵌入的隐式正则化如何在潜在位置估计中引发偏差-方差权衡？
• RQ3 尽管全量嵌入估计量在异质模型下不一致，是否仍可进行有效的统计推断？
• RQ4 在异质网络中，使用全量嵌入实现社区检测精确恢复的充分条件是什么？
• RQ5 即使估计量不一致，能否构造一个枢轴检验统计量来判断两幅图是否共享相同的潜在位置？

主要发现

• 在ESRDPG模型下，全量嵌入在潜在位置估计中引入了有限样本偏差，且已推导出显式解析表达式。
• 为潜在位置估计的残差误差建立了统一集中界，确保对估计变异性有良好控制。
• 证明了潜在位置估计的渐近分布为具有已知协方差矩阵的正态分布混合，从而支持严谨推断。
• 在原假设下，枢轴检验统计量 $ W_i $ 渐近服从 $ \chi^2_d $ 分布，从而支持有效的假设检验。
• 在备择假设下，检验统计量保持检验效能，其渐近分布取决于图特异性变换矩阵 $ \mathbf{S}^{(1)} $ 和 $ \mathbf{S}^{(2)} $ 的差异。
• 尽管估计量不一致，理论框架仍支持社区检测中的精确恢复，并在实验设置中表现出竞争力。