[論文レビュー] Lower Bounds for Matrix Factorization

Mrinal Kumar, Ben Lee Volk|arXiv (Cornell University)|Apr 2, 2019

graph theory and CDMA systems参考文献 46被引用数 2

ひとこと要約

この論文は、任意の定数 $d$ に対して、$d$ 個のスパース行列の積に分解できない $n \times n$ 行列の明示的構成を提示し、深さ-$d$ 線形回路のサイズに対して $n^{1+\Omega(1/d)}$ の超線形下界を達成する。主な貢献は、従来のわずかに超線形の下界を上回る、サブ指数的時間の決定的構成であり、ランクの議論や誤り訂正符号を用いた組合せ的・代数的技法により、可逆回路に対する二次下界を確立する。

ABSTRACT

We study the problem of constructing explicit families of matrices which cannot be expressed as a product of a few sparse matrices. In addition to being a natural mathematical question on its own, this problem appears in various incarnations in computer science; the most significant being in the context of lower bounds for algebraic circuits which compute linear transformations, matrix rigidity and data structure lower bounds. We first show, for every constant $d$, a deterministic construction in subexponential time of a family $\{M_n\}$ of $n imes n$ matrices which cannot be expressed as a product $M_n = A_1 \cdots A_d$ where the total sparsity of $A_1,\ldots,A_d$ is less than $n^{1+1/(2d)}$. In other words, any depth-$d$ linear circuit computing the linear transformation $M_n\cdot x$ has size at least $n^{1+Ω(1/d)}$. This improves upon the prior best lower bounds for this problem, which are barely super-linear, and were obtained by a long line of research based on the study of super-concentrators (albeit at the cost of a blow up in the time required to construct these matrices). We then outline an approach for proving improved lower bounds through a certain derandomization problem, and use this approach to prove asymptotically optimal quadratic lower bounds for natural special cases, which generalize many of the common matrix decompositions.

研究の動機と目的

• $n \times n$ 行列の明示的族を構成し、少数のスパース行列の積に分解できないようにすること。
• 線形変換を計算する深さ-$d$ 線形回路のサイズに対するより強い下界を確立すること。
• 従来の超濃縮器に基づくアプローチの制限を克服し、わずかに超線形の下界しか得られなかったこと。
• 行列の剛性、代数的回路下界、多項式恒等式のための明示的ヒッティングセットとの関係を調査すること。
• 漸近的に最適な二次下界を特殊な場合に達成するための、確率的除去に基づくフレームワークを提供すること。

提案手法

• ランクが高く、構造的部分空間を核に含む行列 $\tilde{M}$ を用いて、$M = \tilde{M}^T \tilde{M}$ を構成する。
• ランクとスパarsityの議論を用いて、任意の因数分解 $M = BC$ において、$B$ もしくは $C$ が高スパarsityを必要とするということを示す。
• 誤り訂正符号（例：リード・ソロモン符号）の性質を活用し、特定のベクトルが $\tilde{M}$ の核に属することを保証し、因数行列に非ゼロ出力を強制する。
• メンガーの定理および頂点カットの議論を用いて、部分行列のランクと回路サイズの下界を関連付ける。
• 有限体または無限体上の次元および数え上げの議論を用いて、低スパarsity因数分解が不可能であることを除外する。
• 一般の確率的除去フレームワークを導出し、それが解かれば行列因数分解のためのより良い下界が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 明示的 $n \times n$ 行列を構成し、深さ-$d$ 線形回路のサイズが $n^{1+\Omega(1/d)}$ に達することを保証できるか？
• RQ2 可逆回路が明示的行列を計算する場合、漸近的に最適な二次下界 $n^2/4$ を達成できるか？
• RQ3 特定のヒッティングセット問題の確率的除去が、行列因数分解のためのより強い下界をもたらす可能性はあるか？
• RQ4 最近の対称候補に関する結果で明らかになった障害を回避する、既存の剛性行列の構成はあるか？
• RQ5 多項式恒等式テスト（PIT）のアプローチを用いて、パラメータを改善した明示的剛性行列を構成できるか？

主な発見

• 論文は、サブ指数的時間で、$d$ 個の行列の積に分解できる総スパarsityが $n^{1+1/(2d)}$ 未満となるような $n \times n$ 行列の明示的族を構成し、深さ-$d$ 回路サイズに対して $n^{1+\Omega(1/d)}$ の下界を得た。
• 可逆回路の場合、サイズが $n$ 以上の体上で、明示的行列を計算する任意の回路のサイズに対して、二次下界 $n^2/4$ を証明した。
• 構成は、ランクが $n/2$ 以上で、良い誤り訂正符号の双対が核に含まれる行列 $\tilde{M}$ に依存しており、これにより任意の因数分解において高スパarsityが強制される。
• 証明技法は、複素数体 $\mathbb{C}$ 上の対称回路へ一般化され、$B^*B$ 因数分解に対しても高スパarsityを必要とすることが示された。
• 論文は、その解法がより良い下界をもたらす可能性のある確率的除去問題を同定し、現在の制限を超える新たな道筋を示唆した。
• $\mathbb{F}_2$ のような固定有限体上では、リード・ソロモン符号の代わりに任意の良い明示的符号を用いることで、二次下界の類似物を示せるが、定数は悪くなる。