[论文解读] Unified $\ell_{2 ightarrow\infty}$ Eigenspace Perturbation Theory for Symmetric Random Matrices

Lihua Lei|arXiv (Cornell University)|Sep 11, 2019

Random Matrices and Applications参考文献 67被引用 16

一句话总结

本文为具有独立或依赖条目及灵活条目分布的对称随机矩阵，发展了一套统一的 $β_{2\to\infty}$ 特征空间扰动理论。它推导出二值随机矩阵的紧致 $β_{2\to\infty}$ 界，相较于现有结果在紧致性和特征值间隙条件方面均有改进，并将该理论应用于实现谱范数集中、随机块模型中的社区恢复以及分治层次聚类的部分一致性方面的最先进结果。

ABSTRACT

Modern applications in statistics, computer science and network science have seen tremendous values of finer matrix spectral perturbation theory. In this paper, we derive a generic $\ell_{2 ightarrow\infty}$ eigenspace perturbation bound for symmetric random matrices, with independent or dependent entries and fairly flexible entry distributions. In particular, we apply our generic bound to binary random matrices with independent entries or with certain dependency structures, including the unnormalized Laplacian of inhomogenous random graphs and $m$-dependent matrices. Through a detailed comparison, we found that for binary random matrices with independent entries, our $\ell_{2 ightarrow\infty}$ bound is tighter than all existing bounds that we are aware of, while our condition is weaker than all but one of them in a less common regime. We apply our perturbation bounds in three problems and improve the state of the art: concentration of the spectral norm of sparse random graphs, exact recovery of communities in stochastic block models and partial consistency of divisive hierarchical clustering. Finally we discuss the extensions of our theory to random matrices with more complex dependency structures and non-binary entries, asymmetric rectangular matrices and induced perturbation theory in other metrics.

研究动机与目标

• 为具有依赖或独立条目及灵活分布的对称随机矩阵开发一个通用的 $β_{2\to\infty}$ 特征空间扰动界。
• 改进针对具有独立条目的二值随机矩阵的现有 $β_{2\to\infty}$ 界，尤其在紧致性和更弱的特征值间隙假设方面。
• 将新扰动理论应用于提升三个关键问题的最先进结果：稀疏随机图的谱范数集中、随机块模型中的精确社区恢复，以及分治层次聚类的部分一致性。
• 将该框架扩展至非二值条目、非对称矩阵以及其他超出当前范围的依赖结构。

提出的方法

• 通过结合确定性界与随机集中技术，推导出通用的 $β_{2\to\infty}$ 特征空间扰动界。
• 利用 Kato 的积分表示法来界定特征向量偏差的确定性部分。
• 应用对角线手术法，通过减小扰动矩阵中对角线条目的影响来改进界。
• 采用一种新颖的特征值分区技术，消除对特征空间条件数的依赖。
• 应用具有异质均值的独立伯努利随机变量和的集中不等式，以控制扰动中的随机误差。
• 通过与现有确定性和概率界在二值随机矩阵上的详细比较，验证该界的有效性。

实验结果

研究问题

• RQ1 能否为具有通用条目分布和依赖结构的对称随机矩阵推导出统一的 $β_{2\to\infty}$ 特征空间扰动界？
• RQ2 与现有针对具有独立条目的二值随机矩阵的 $β_{2\to\infty}$ 界相比，所提出的界在紧致性和特征值间隙要求方面如何？
• RQ3 该新扰动理论在多大程度上能改善稀疏随机图的谱范数集中？
• RQ4 该理论能否在社区数量固定或增长的情况下，实现随机块模型（SBM）中社区的精确恢复？
• RQ5 该框架是否能在弱于先前工作的假设下，支持分治层次聚类的部分一致性？

主要发现

• 通过详细比较，所提出的 $β_{2\to\infty}$ 界在所有现有针对具有独立条目的二值随机矩阵的界中最为紧致。
• 该界所需的特征值间隙条件弱于除一个之外的所有现有界，尤其在间隙较小的不常见情形下表现更优。
• 该理论实现了稀疏 Erdős–Rényi 图谱范数的改进集中，其结果超越了稠密情形。
• 在社区数量固定 $K$ 的情况下，该理论可实现随机块模型（SBM）中社区的精确恢复，且以高概率实现零误分类误差。
• 对于增长的 $K$，该理论在块两峰随机块模型（BTSBMs）中实现了巨社区的精确恢复。
• 该框架通过提供在聚类树中恢复单次分裂的充分条件，支持分治层次聚类的部分一致性。