[논문 리뷰] Lower Bounds for Matrix Factorization

Mrinal Kumar, Ben Lee Volk|arXiv (Cornell University)|2019. 04. 02.

graph theory and CDMA systems참고 문헌 46인용 수 2

한 줄 요약

이 논문은 임의의 상수 d에 대해 $n \times n$ 행렬을 d개의 희소 행렬의 곱으로 분해할 수 없는 명시적 구성법을 제시하며, 깊이-d 선형 회로의 크기에 대해 초선형 하한 $n^{1+\Omega(1/d)}$을 달성한다. 핵심 기여는 이전의 거의 초선형 하한을 능가하는, 지수보다 작은 시간 내에 결정적으로 구성하는 것으로, 랭크 추론과 오류 수정 코드를 포함한 조합 및 대수 기법을 사용하여 역행렬 가능한 회로에 대해 이차 하한을 확립한다.

ABSTRACT

We study the problem of constructing explicit families of matrices which cannot be expressed as a product of a few sparse matrices. In addition to being a natural mathematical question on its own, this problem appears in various incarnations in computer science; the most significant being in the context of lower bounds for algebraic circuits which compute linear transformations, matrix rigidity and data structure lower bounds. We first show, for every constant $d$, a deterministic construction in subexponential time of a family $\{M_n\}$ of $n imes n$ matrices which cannot be expressed as a product $M_n = A_1 \cdots A_d$ where the total sparsity of $A_1,\ldots,A_d$ is less than $n^{1+1/(2d)}$. In other words, any depth-$d$ linear circuit computing the linear transformation $M_n\cdot x$ has size at least $n^{1+Ω(1/d)}$. This improves upon the prior best lower bounds for this problem, which are barely super-linear, and were obtained by a long line of research based on the study of super-concentrators (albeit at the cost of a blow up in the time required to construct these matrices). We then outline an approach for proving improved lower bounds through a certain derandomization problem, and use this approach to prove asymptotically optimal quadratic lower bounds for natural special cases, which generalize many of the common matrix decompositions.

연구 동기 및 목표

• $n \times n$ 행렬의 명시적 가족을 구성하여 소수의 희소 행렬 곱으로의 분해를 저지하는 것.
• 선형 변환을 계산하는 깊이-d 선형 회로의 크기에 대해 더 강력한 하한을 확립하는 것.
• 초집중기 기반의 이전 접근법의 한계를 극복하여 거의 초선형 수준의 하한만을 도출했던 것을 개선하는 것.
• 행렬 강성, 대수적 회로 하한, 다항식 항등식을 위한 명시적 충족 집합 간의 관계를 탐색하는 것.
• 특수한 경우에 대해 점차적으로 최적의 이차 하한을 달성하는 데에 기여하는 데러анд오미제이션 기반 프레임워크를 제공하는 것.

제안 방법

• 고랭크이자 특정 구조를 가진 부분공간을 핵에 포함하는 행렬 $\tilde{M}$ 을 사용하여 $M = \tilde{M}^T \tilde{M}$ 을 구성한다.
• 랭크와 희소성 추론을 통해 임의의 분해 $M = BC$ 는 B 또는 C 중 하나가 높은 총 희소성을 가져야 함을 보여준다.
• 오류 수정 코드(예: 리드-소로몬 코드)의 성질을 활용하여 $\tilde{M}$ 의 핵에 특정 벡터들이 포함되도록 하여, 인수 행렬에서 0이 아닌 출력을 강제한다.
• 멘거의 정리와 정점 컷 추론을 적용하여 부분행렬 랭크와 회로 크기 하한을 연결한다.
• 유한체 또는 무한체 위에서 차원과 수세기 추론을 사용하여 낮은 희소성 분해를 배제한다.
• 일반적인 데러анд오미제이션 프레임워크를 유도하여, 이 문제의 해결이 매트릭스 인수분해에 대해 향상된 하한을 도출할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 $n \times n$ 행렬을 명시적으로 구성하여 깊이-d 선형 회로의 크기가 $n^{1+\Omega(1/d)}$ 가 되도록 할 수 있는가?
• RQ2 역행렬 가능한 회로가 명시적 행렬을 계산할 때 점차적으로 최적의 이차 하한을 달성할 수 있는가?
• RQ3 일부 충족 집합 문제의 데러анд오미제이션은 매트릭스 인수분해에 대해 더 강력한 하한을 이끌 수 있는가?
• RQ4 최근의 대칭 후보에 대한 결과에서 드러난 장애물을 피하는 기존의 강성 행렬 구성법이 존재하는가?
• RQ5 다항식 항등식 테스팅(PIT) 접근법을 사용하여 개선된 매개변수를 갖는 명시적 강성 행렬을 구성할 수 있는가?

주요 결과

• 논문은 지수보다 작은 시간 내에, $d$개의 행렬 곱으로의 총 희소성이 $n^{1+1/(2d)}$ 미만인 $n \times n$ 행렬을 분해할 수 없는 명시적 가족을 구성한다. 이는 깊이-d 회로 크기에 대해 $n^{1+\Omega(1/d)}$ 의 하한을 도출한다.
• 역행렬 가능한 회로의 경우, 크기가 $n$ 이상인 체 위에서 명시적 행렬을 계산하는 임의의 회로의 크기에 대해 이차 하한 $n^2/4$ 를 증명한다.
• 구성은 랭크가 최소 $n/2$ 이며, 좋은 오류 수정 코드의 쌍대를 핵에 포함하는 행렬 $\tilde{M}$ 에 의존하며, 이는 어떤 분해에서도 높은 희소성을 강제한다.
• 증명 기법은 복소수체 $\mathbb{C}$ 위의 대칭 회로로 일반화되며, $B^*B$ 인수분해 역시 높은 희소성이 필요함을 보여준다.
• 논문은 하한 향상을 이끌 수 있는 데러анд오미제이션 문제를 특정화하였으며, 현재의 한계를 넘어설 수 있는 새로운 길을 제시한다.
• $\mathbb{F}_2$ 와 같은 고정된 유한체에서는 리드-소로몬 코드 대신 어떤 좋은 명시적 코드를 사용해도 이차 하한의 유사판을 증명할 수 있으나, 상수는 약간 악화된다.