[论文解读] Energy Landscape for large average submatrix detection problems in Gaussian random matrices

Shankar Bhamidi, Partha S. Dey+1 more|arXiv (Cornell University)|Nov 10, 2012

Random Matrices and Applications参考文献 31被引用 8

一句话总结

本文对 $n \times n$ 高斯随机矩阵中的大平均子矩阵进行了严格的渐近分析，重点关注全局最大值和局部最大值。通过一种新颖的 Stein 方法变体，建立了局部最大值数量的中心极限定理，表明局部最大值的期望数量按 $\Theta(n^k / (\log n)^{(k-1)/2})$ 的速率增长，且其典型平均值与全局最大值相差不超过 $1/\sqrt{2}$ 的因子。

ABSTRACT

The problem of finding large average submatrices of a real-valued matrix arises in the exploratory analysis of data from a variety of disciplines, ranging from genomics to social sciences. In this paper we provide a detailed asymptotic analysis of large average submatrices of an $n imes n$ Gaussian random matrix. The first part of the paper addresses global maxima. For fixed $k$ we identify the average and the joint distribution of the $k imes k$ submatrix having largest average value. As a dual result, we establish that the size of the largest square sub-matrix with average bigger than a fixed positive constant is, with high probability, equal to one of two consecutive integers that depend on the threshold and the matrix dimension $n$. The second part of the paper addresses local maxima. Specifically we consider submatrices with dominant row and column sums that arise as the local optima of iterative search procedures for large average submatrices. For fixed $k$, we identify the limiting average value and joint distribution of a $k imes k$ submatrix conditioned to be a local maxima. In order to understand the density of such local optima and explain the quick convergence of such iterative procedures, we analyze the number $L_n(k)$ of local maxima, beginning with exact asymptotic expressions for the mean and fluctuation behavior of $L_n(k)$. For fixed $k$, the mean of $L_{n}(k)$ is $Θ(n^{k}/(\log{n})^{(k-1)/2})$ while the standard deviation is $Θ(n^{2k^2/(k+1)}/(\log{n})^{k^2/(k+1)})$. Our principal result is a Gaussian central limit theorem for $L_n(k)$ that is based on a new variant of Stein's method.

研究动机与目标

• 分析 $n \times n$ 高斯随机矩阵中最大平均 $k \times k$ 子矩阵的渐近行为。
• 刻画固定 $k$ 时全局最大值子矩阵的联合分布及其极限平均值。
• 研究由主导行和列和定义的局部最大值，与迭代搜索算法相关。
• 推导局部最大值数量 $L_n(k)$ 的精确渐近表达式，包括其期望和方差。
• 通过一种新型 Stein 方法变体建立 $L_n(k)$ 的中心极限定理，克服了局部最优解之间复杂的依赖结构。

提出的方法

• 使用改进的高斯比较不等式分析全局最大值子矩阵的分布。
• 应用极值理论，证明超过固定阈值的最大子矩阵大小具有两点集中性。
• 将局部最大值定义为行和与列和占主导的子矩阵，模拟迭代双聚类算法的不动点。
• 推导 $\mathbb{E}[L_n(k)]$ 和 $\mathrm{Var}(L_n(k))$ 的精确渐近表达式，揭示了由于长程相关性导致的非标准标度。
• 提出一种新型 Stein 方法变体，证明 $L_n(k)$ 满足中心极限定理，尽管局部最优解之间存在强依赖性。
• 采用条件矩计算和不同重叠程度子矩阵之间的协方差界，控制方差项。

实验结果

研究问题

• RQ1 在 $n \times n$ 高斯随机矩阵中，最大平均 $k \times k$ 子矩阵的极限平均值及其联合分布为何？
• RQ2 最大平均值超过固定正数的 $k \times k$ 子矩阵的典型大小是多少？
• RQ3 在 $n \times n$ 高斯随机矩阵中，存在多少局部最大值，其分布如何？
• RQ4 局部最大值数量 $L_n(k)$ 的渐近行为如何？它是否满足中心极限定理？
• RQ5 典型局部最大值的平均值与全局最大值的平均值有多接近？

主要发现

• 对于固定 $k$，局部最大值的期望数量 $\mathbb{E}[L_n(k)]$ 的增长速率为 $\Theta\left(\frac{n^k}{(\log n)^{(k-1)/2}}\right)$。
• $L_n(k)$ 的方差为 $\mathrm{Var}(L_n(k)) = \Theta\left(\left(\frac{n}{\sqrt{\log n}}\right)^{2k^2/(k+1)}\right)$，反映出局部最优解之间的强相关性。
• 尽管存在复杂的依赖结构，$L_n(k)$ 仍满足中心极限定理，该结论通过一种新型 Stein 方法变体得以证明。
• 典型局部最大值的平均值与全局最大值的平均值相差不超过 $1/\sqrt{2}$ 的因子。
• 无共同行或列的局部最优子矩阵对总方差的贡献可忽略不计，主导贡献来自重叠的子矩阵对。
• 本文建立了最大平均值超过固定阈值的子矩阵大小的两点集中性，表明其几乎必然为两个连续整数之一。