[论文解读] Balancing Gaussian vectors in high dimension

Paxton Turner, Raghu Meka+1 more|arXiv (Cornell University)|Oct 30, 2019

Machine Learning and Algorithms参考文献 43被引用 6

一句话总结

本文研究当列数 $ n $ 远大于行数 $ m $ 时，具有 i.i.d. 标准正态分布条目的随机高斯矩阵的差异性。通过二阶矩法建立了非渐近界，并提出了一种多项式时间随机算法，该算法在 $ m = O( ilde{\sqrt{\log n}}) $ 时实现了亚常数差异性 $ e^{-\Omega(\log^2 n / m)} $，这是在高维空间中首次实现高效且亚-$ \sqrt{m} $ 差异性的算法。

ABSTRACT

Motivated by problems in controlled experiments, we study the discrepancy of random matrices with continuous entries where the number of columns $n$ is much larger than the number of rows $m$. Our first result shows that if $ω(1) = m = o(n)$, a matrix with i.i.d. standard Gaussian entries has discrepancy $Θ(\sqrt{n} \, 2^{-n/m})$ with high probability. This provides sharp guarantees for Gaussian discrepancy in a regime that had not been considered before in the existing literature. Our results also apply to a more general family of random matrices with continuous i.i.d entries, assuming that $m = O(n/\log{n})$. The proof is non-constructive and is an application of the second moment method. Our second result is algorithmic and applies to random matrices whose entries are i.i.d. and have a Lipschitz density. We present a randomized polynomial-time algorithm that achieves discrepancy $e^{-Ω(\log^2(n)/m)}$ with high probability, provided that $m = O(\sqrt{\log{n}})$. In the one-dimensional case, this matches the best known algorithmic guarantees due to Karmarkar--Karp. For higher dimensions $2 \leq m = O(\sqrt{\log{n}})$, this establishes the first efficient algorithm achieving discrepancy smaller than $O( \sqrt{m} )$.

研究动机与目标

• 分析当 $ n \gg m $ 时，具有 i.i.d. 高斯条目的随机矩阵的差异性，该情形此前未被深入研究。
• 使用二阶矩法建立在 $ m = o(n) $ 条件下，对差异性的非渐近、高概率界。
• 为具有利普希茨密度的 i.i.d. 条目矩阵，开发一种随机多项式时间算法，以实现低差异性。
• 将算法保证扩展至一维情形之外，在更高维空间中实现亚-$ \sqrt{m} $ 差异性。
• 通过提供可证明平衡的随机分配，弥合理论差异性界与实际实验设计之间的差距。

提出的方法

• 使用二阶矩法，在 $ m = o(n) $ 条件下推导 i.i.d. 高斯矩阵差异性的高概率界。
• 证明此类矩阵的差异性以高概率为 $ \Theta(\sqrt{n} \, 2^{-n/m}) $。
• 应用基于 GKK 框架（Garg–Kale–Kumar）的随机多项式时间算法，用于最小化差异性。
• 采用递归差分过程（PRDC），在各阶段保持一组三角分布的向量。
• 利用条件独立性和边缘化论证，表明输出向量保持同分布且与最终签名向量独立。
• 依赖条目密度的利普希茨连续性，以确保集中性，并控制各阶段差异分布。

实验结果

研究问题

• RQ1 当 $ n \gg m $ 时，$ m \times n $ 的 i.i.d. 标准高斯条目随机矩阵的典型差异性是多少？
• RQ2 在高维情形 $ m = o(n) $ 下，能否使用二阶矩法推导出差异性的紧致、非渐近界？
• RQ3 是否存在一种多项式时间算法，能在更高维空间 $ m \geq 2 $ 中实现小于 $ O(\sqrt{m}) $ 的差异性？
• RQ4 当 $ m = O(\sqrt{\log n}) $ 时，差异性如何缩放？能否在算法上实现该缩放？
• RQ5 理论差异性界能否扩展至高斯分布之外的更广泛连续 i.i.d. 条目分布类？

主要发现

• 当 $ m = o(n) $ 时，$ m \times n $ 的 i.i.d. 高斯矩阵的差异性以高概率为 $ \Theta(\sqrt{n} \, 2^{-n/m}) $。
• 二阶矩法在 $ m = O(n / \log n) $ 的情形下，对一类广义连续 i.i.d. 条目分布成功导出紧致界。
• 当 $ m = O(\sqrt{\log n}) $ 时，随机多项式时间算法以高概率实现差异性 $ e^{-\Omega(\log^2 n / m)} $。
• 该算法结果在更高维空间中优于先前的保证，是首个高效实现亚-$ \sqrt{m} $ 差异性的算法。
• 该算法在一维情形下恢复了 Karmarkar–Karp 的结果，与最佳已知保证相匹配。
• 分析表明，该算法各阶段的输出向量为 i.i.d. 且呈三角分布，最终签名向量与数据独立。