[论文解读] Finding a Large Submatrix of a Gaussian Random Matrix

David Gamarnik, Quan Li|arXiv (Cornell University)|Feb 26, 2016

Topological and Geometric Data Analysis参考文献 12被引用 4

一句话总结

本文证明了最大平均子矩阵（LAS）算法在常数 $k$ 下以高概率实现平均子矩阵值为 $(1+o(1))\sqrt{2\log n/k}$，确认了一个长期存在的猜想。此外，本文提出了一种新算法 $\mathcal{IGP}$，其性能相比LAS提升了 $4/3$ 倍，并识别出在 $\alpha^* \approx 1.3608$ 处存在相变，标志着重叠间隙性质（OGP）的出现，该性质被猜想为该阈值以上算法困难性的信号。

ABSTRACT

We consider the problem of finding a $k imes k$ submatrix of an $n imes n$ matrix with i.i.d. standard Gaussian entries, which has a large average entry. It was shown earlier by Bhamidi et al. that the largest average value of such a matrix is $2\sqrt{\log n/k}$ with high probability. In the same paper an evidence was provided that a natural greedy algorithm called Largest Average Submatrix ($\LAS$) should produce a matrix with average entry approximately $\sqrt{2}$ smaller. In this paper we show that the matrix produced by the $\LAS$ algorithm is indeed $\sqrt{2\log n/k}$ w.h.p. Then by drawing an analogy with the problem of finding cliques in random graphs, we propose a simple greedy algorithm which produces a $k imes k$ matrix with asymptotically the same average value. Since the greedy algorithm is the best known algorithm for finding cliques in random graphs, it is tempting to believe that beating the factor $\sqrt{2}$ performance gap suffered by both algorithms might be very challenging. Surprisingly, we show the existence of a very simple algorithm which produces a matrix with average value $(4/3)\sqrt{2\log n/k}$. To get an insight into the algorithmic hardness of this problem, and motivated by methods originating in the theory of spin glasses, we conduct the so-called expected overlap analysis of matrices with average value asymptotically $α\sqrt{2\log n/k}$. The overlap corresponds to the number of common rows and common columns for pairs of matrices achieving this value. We discover numerically an intriguing phase transition at $α^*\approx 1.3608..$: when $αα^*$. We conjecture that $α>α^*$ marks the onset of the algorithmic hardness.

研究动机与目标

• 为解决关于LAS算法产生的子矩阵平均值比全局最优值小约 $\sqrt{2}$ 的猜想。
• 开发一种比LAS更有效的多项式时间算法，用于在高斯随机矩阵中寻找高平均值子矩阵。
• 通过自旋玻璃理论背景下的重叠间隙性质（OGP）研究最大子矩阵问题的算法困难性。
• 探讨 $\alpha^* \approx 1.3608$ 处的OGP是否构成多项式时间算法的根本障碍。

提出的方法

• 通过分析算法迭代路径的条件概率，证明LAS算法的输出在 $k$ 为常数时依分布收敛于 $\sqrt{2\log n/k}$。
• 建立第 $r$ 步时的矩阵与尚未观察到的最佳 $k\times n$ 条带之间的渐近独立性，从而支持收敛性分析。
• 提出一种受随机图中团查找启发的新贪心算法 $\mathcal{IGP}$，其性能相比LAS提升 $4/3$ 倍。
• 应用期望重叠分析研究高平均值子矩阵的几何结构，将重叠定义为两组矩阵间共享行与列的比例。
• 识别出在 $\alpha^* = 5\sqrt{2}/(3\sqrt{3}) \approx 1.3608$ 处存在相变，此时重叠空间从连续变为不连续，标志着重叠间隙性质（OGP）的出现。
• 猜想当 $\alpha > \alpha^*$ 时，OGP 暗示算法不可行，即无法存在多项式时间算法来寻找平均值 $\geq (1+o(1))\alpha\sqrt{2\log n/k}$ 的子矩阵。

实验结果

研究问题

• RQ1 当 $k$ 为常数时，LAS算法是否以高概率实现平均子矩阵值为 $(1+o(1))\sqrt{2\log n/k}$？
• RQ2 是否存在一种多项式时间算法，能够超越LAS的 $\sqrt{2}$ 因子差距，并实现更高的平均值？
• RQ3 在 $\alpha^* \approx 1.3608$ 处的重叠间隙性质（OGP）是否构成该问题高效算法的根本障碍？
• RQ4 在 $\alpha > \alpha^*$ 时观察到的OGP是否真实反映了算法困难性，还是可通过新算法技术克服？
• RQ5 高平均值子矩阵解空间的几何结构如何？其与自旋玻璃模型及相变的关系是什么？

主要发现

• LAS算法在常数 $k$ 下以高概率实现平均子矩阵值为 $(1+o(1))\sqrt{2\log n/k}$，确认了BDN12中的猜想。
• 随着 $n$ 增大，LAS算法的迭代次数在概率上被有界，表明其在有限步内收敛。
• 新算法 $\mathcal{IGP}$ 相比LAS实现 $4/3$ 倍提升，对 $k = o(n)$，其输出的平均值为 $(1+o_k(1))(4/3)\sqrt{2\log n/k}$。
• 在 $\alpha^* = 5\sqrt{2}/(3\sqrt{3}) \approx 1.3608$ 处发生相变，重叠空间从连续变为不连续，标志着重叠间隙性质（OGP）的出现。
• 当 $\alpha > \alpha^*$ 时，OGP 被猜想为算法困难性的标志，意味着无法存在多项式时间算法来寻找平均值 $\geq (1+o(1))\alpha\sqrt{2\log n/k}$ 的子矩阵。
• 本文推测，要突破 $5\sqrt{2}/(3\sqrt{3})$ 的阈值，可能需要新的算法技术，可能涉及多重重叠结构。