[论文解读] Lower Bounds for Matrix Factorization

Mrinal Kumar, Ben Lee Volk|arXiv (Cornell University)|Apr 2, 2019

graph theory and CDMA systems参考文献 46被引用 2

一句话总结

本论文提出了 $n \times n$ 矩阵的显式构造，这些矩阵无法被分解为任意常数 $d$ 个稀疏矩阵的乘积，从而在深度-$d$ 线性电路的大小上实现了超线性下界 $n^{1+\Omega(1/d)}$。关键贡献在于一种亚指数时间的确定性构造方法，其改进了先前仅略高于线性的界限，利用组合与代数技术（包括秩论证和纠错码）建立了可逆电路的二次下界。

ABSTRACT

We study the problem of constructing explicit families of matrices which cannot be expressed as a product of a few sparse matrices. In addition to being a natural mathematical question on its own, this problem appears in various incarnations in computer science; the most significant being in the context of lower bounds for algebraic circuits which compute linear transformations, matrix rigidity and data structure lower bounds. We first show, for every constant $d$, a deterministic construction in subexponential time of a family $\{M_n\}$ of $n imes n$ matrices which cannot be expressed as a product $M_n = A_1 \cdots A_d$ where the total sparsity of $A_1,\ldots,A_d$ is less than $n^{1+1/(2d)}$. In other words, any depth-$d$ linear circuit computing the linear transformation $M_n\cdot x$ has size at least $n^{1+Ω(1/d)}$. This improves upon the prior best lower bounds for this problem, which are barely super-linear, and were obtained by a long line of research based on the study of super-concentrators (albeit at the cost of a blow up in the time required to construct these matrices). We then outline an approach for proving improved lower bounds through a certain derandomization problem, and use this approach to prove asymptotically optimal quadratic lower bounds for natural special cases, which generalize many of the common matrix decompositions.

研究动机与目标

• 构造显式家族的 $n \times n$ 矩阵，使其难以被分解为少量稀疏矩阵的乘积。
• 建立计算线性变换的深度-$d$ 线性电路大小的更强下界。
• 克服基于超集中器的先前方法的局限性，这些方法仅能给出略高于线性的界限。
• 探索矩阵刚性、代数电路下界与多项式恒等式显式命中集之间的联系。
• 提供一种基于去随机化的框架，以在特殊情况下实现渐近最优的二次下界。

提出的方法

• 通过一个高秩且其核包含结构化子空间的矩阵 $\tilde{M}$ 构造矩阵 $M = \tilde{M}^T \tilde{M}$。
• 利用秩和稀疏性论证，表明任何分解 $M = BC$ 都要求 $B$ 或 $C$ 具有高总稀疏性。
• 利用纠错码（如 Reed-Solomon 码）的性质，确保某些向量属于 $\tilde{M}$ 的核，从而强制因子矩阵中出现非零输出。
• 应用 Menger 定理与顶点割论证，将子矩阵的秩与电路大小下界联系起来。
• 在有限域或无限域上使用维数与计数论证，排除低稀疏性分解的可能性。
• 推导出一个通用的去随机化框架，若该框架可解，则可为矩阵分解提供改进的下界。

实验结果

研究问题

• RQ1 我们能否构造出显式 $n \times n$ 矩阵，使得其深度-$d$ 线性电路的大小达到 $n^{1+\Omega(1/d)}$？
• RQ2 是否可能为计算显式矩阵的可逆电路实现渐近最优的二次下界？
• RQ3 某些命中集问题的去随机化是否能导致更强的矩阵分解下界？
• RQ4 现有刚性矩阵的构造是否避开了近期关于对称候选矩阵结果所揭示的障碍？
• RQ5 多项式恒等式测试（PIT）方法能否用于构造具有改进参数的显式刚性矩阵？

主要发现

• 该论文在亚指数时间内构造出一个显式 $n \times n$ 矩阵家族，这些矩阵无法表示为 $d$ 个总稀疏性低于 $n^{1+1/(2d)}$ 的矩阵的乘积，从而在深度-$d$ 电路大小上得到 $n^{1+\Omega(1/d)}$ 的下界。
• 对于可逆电路，论文证明了在大小至少为 $n$ 的域上，任何计算显式矩阵的电路大小下界为 $n^2/4$。
• 该构造依赖于一个秩至少为 $n/2$ 的矩阵 $\tilde{M}$，其核包含一个优质纠错码的对偶，从而强制任何分解中出现高稀疏性。
• 该证明技术可推广至复数域 $\mathbb{C}$ 上的对称电路，表明 $B^*B$ 分解同样需要高稀疏性。
• 该论文识别出一个去随机化问题，其解将带来改进的下界，提示了一条超越当前限制的新路径。
• 在固定有限域（如 $\mathbb{F}_2$）上，可使用任意优质显式码替代 Reed-Solomon 码，证明类似二次下界，尽管常数因子更差。