[论文解读] De Finetti-Style Results for Wishart Matrices: Combinatorial Structure and Phase Transitions

Matthew Brennan, Guy Bresler+1 more|arXiv (Cornell University)|Mar 25, 2021

Random Matrices and Applications参考文献 29被引用 7

一句话总结

本文在总变差距离下建立了遮罩Wishart矩阵收敛于i.i.d.高斯系综的精确相变，表明收敛阈值关键取决于关联图中已揭示条目之组合结构——特别是小子图的计数——而非仅条目数量。作者通过信息论与组合技术相结合，推导出收敛发生的精确条件，涵盖Erdős-Rényi和二分随机遮罩的情形。

ABSTRACT

A recent line of work has studied the relationship between the Wishart matrix $X^ op X$, where $X\in \mathbb{R}^{d imes n}$ has i.i.d. standard Gaussian entries, and the corresponding Gaussian matrix with independent entries above the diagonal. Jiang and Li (2015) and Bubeck et al. (2016) showed that these two matrix ensembles converge in total variation whenever $d/n^3 o \infty$, and Bubeck et al. (2016) showed this to be sharp. In this paper we aim to identify the precise threshold for $d$ in terms of $n$ for subsets of Wishart matrices to converge in total variation to independent Gaussians. It turns out that the combinatorial structure of the revealed entries, viewed as the adjacency matrix of a graph $G$, characterizes the distance from fully independent. Specifically, we show that the threshold for $d$ depends on the number of various small subgraphs in $G$. So, even when the number of revealed entries is fixed, the threshold can vary wildly depending on their configuration. Convergence of masked Wishart to independent Gaussians thus inherently involves an interplay between both probabilistic and combinatorial phenomena. Our results determine the sharp threshold for a large family of $G$, including Erdős-Rényi $G\sim \mathcal{G}(n,p)$ at all values $p\gtrsim n^{-2}\mathrm{polylog}(n)$. Our proof techniques are both combinatorial and information theoretic, which together allow us to carefully unravel the dependencies in the masked Wishart ensemble.

研究动机与目标

• 确定Wishart矩阵中自由度 $ d $ 的精确阈值，使得遮罩条目在总变差距离下收敛于独立高斯分布。
• 表征已揭示条目之组合结构（以图 $ G $ 表示）如何影响收敛速度与阈值。
• 表明即使具有相同条目数量的两个遮罩Wishart系综，其收敛阈值也可能因已揭示条目的配置不同而存在显著差异。
• 在边密度的一般条件下，为包括Erdős-Rényi和二分Erdős-Rényi图在内的随机遮罩建立精确相变。
• 通过将子图计数与信息论分歧度量（如 $ \chi^2 $ 和KL散度）关联，统一概率与组合分析。

提出的方法

• 将Wishart矩阵 $ X^T X $ 的已揭示条目建模为图 $ G $ 的邻接矩阵，其中边集对应于观测条目。
• 利用 $ G $ 中的子图计数（如三角形、$ C_4 $、$ P_2 $）表征依赖结构，并推导总变差距离的界。
• 应用信息论工具，包括 $ \chi^2 $ 散度与KL散度，量化遮罩Wishart与i.i.d.高斯系综之间的距离。
• 采用一种基于Gram-Schmidt正交化的新型耦合技术，以处理Wishart模型中的潜在依赖性。
• 通过Wishart逆矩阵的矩近似与二阶矩方法，界定向量耦合副本之间的指数重叠。
• 通过基于三阶与四阶统计量、以及最长行统计量的统计检验建立下界，证明在阈值被违反时发生发散。

实验结果

研究问题

• RQ1 Wishart矩阵中已揭示条目的组合结构如何影响其在总变差距离下收敛于i.i.d.高斯系综？
• RQ2 对于固定的已揭示条目图 $ G $，在 $ n $ 的函数关系下，$ d $ 的精确阈值为何，使得遮罩Wishart矩阵收敛于独立高斯矩阵？
• RQ3 为何相同数量的已揭示条目在不同配置下（如随机与分块对角遮罩）会产生截然不同的收敛阈值？
• RQ4 对于 $ G(n,p) $ 这类随机图遮罩，当 $ p \gtrsim n^{-2} \mathrm{polylog}(n) $ 时，收敛的相变能否被精确刻画？
• RQ5 图 $ G $ 中的子图计数（如三角形、$ C_4 $）如何影响遮罩Wishart与i.i.d.高斯系综之间的总变差距离？

主要发现

• 遮罩Wishart矩阵收敛于i.i.d.高斯分布的阈值取决于图 $ G $ 中的小子图（如三角形、$ C_4 $、$ P_2 $）的数量，而非仅已揭示条目的数量。
• 对于Erdős-Rényi随机图 $ G \sim \mathcal{G}(n,p) $，当 $ p \gtrsim n^{-2} \mathrm{polylog}(n) $ 时发生收敛，对应于 $ d \asymp n^3 $，与完整矩阵的已知阈值一致。
• 对于二分遮罩（如仅揭示上右与下左 $ n/2 \times n/2 $ 块），阈值降至 $ d \asymp n^2 $，表明存在显著的结构依赖性。
• 当 $ d \ll D $，其中 $ D $ 为 $ G $ 中的最大度数时，最长行统计量可高概率区分Wishart与i.i.d.高斯系综，意味着总变差发散。
• 通过二阶矩方法与改进的行列式展开，利用 $ \chi^2 $ 散度界定了遮罩Wishart与i.i.d.高斯系综之间的距离，从而得到精确的上界。
• 通过基于三阶与四阶统计量的统计检验建立了总变差距离的下界，表明当 $ d/n^3 \to 0 $ 时发生发散，确认了相变的精确性。