[논문 리뷰] On Identity Testing of Tensors, Low-rank Recovery and Compressed Sensing

Michael A. Forbes, Amir Shpilka|arXiv (Cornell University)|2011. 11. 02.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 구조적 측정 집합을 통한 저질서 복구를 활용하여 저질서 텐서와 행렬에 대한 명시적, 결정론적, 블랙박스 다항식 동일성 테스팅 알고리즘을 제시한다. 이는 행렬에 대해 최적 크기의 히트 세트(크기 $4nr$)와 고차원 텐서에 대해 준최적 크기의 히트 세트를 구성하며, 압축 감지와 순서-거리 코드에의 응용을 포함한다.

ABSTRACT

We study the problem of obtaining efficient, deterministic, black-box polynomial identity testing algorithms for depth-3 set-multilinear circuits (over arbitrary fields). This class of circuits has an efficient, deterministic, white-box polynomial identity testing algorithm (due to Raz and Shpilka), but has no known such black-box algorithm. We recast this problem as a question of finding a low-dimensional subspace H, spanned by rank 1 tensors, such that any non-zero tensor in the dual space ker(H) has high rank. We obtain explicit constructions of essentially optimal-size hitting sets for tensors of degree 2 (matrices), and obtain quasi-polynomial sized hitting sets for arbitrary tensors (but this second hitting set is less explicit). We also show connections to the task of performing low-rank recovery of matrices, which is studied in the field of compressed sensing. Low-rank recovery asks (say, over the reals) to recover a matrix M from few measurements, under the promise that M is rank <=r. We also give a formal connection between low-rank recovery and the task of sparse (vector) recovery: any sparse-recovery algorithm that exactly recovers vectors of length n and sparsity 2r, using m non-adaptive measurements, yields a low-rank recovery scheme for exactly recovering nxn matrices of rank <=r, making 2nm non-adaptive measurements. Furthermore, if the sparse-recovery algorithm runs in time τ, then the low-rank recovery algorithm runs in time O(rn^2+nτ). We obtain this reduction using linear-algebraic techniques, and not using convex optimization, which is more commonly seen in compressed sensing algorithms. By using a dual Reed-Solomon code, we are able to (deterministically) construct low-rank recovery schemes taking 4nr measurements over the reals, such that the measurements can be all rank-1 matrices, or all sparse matrices.

연구 동기 및 목표

• 임의의 체 위의 깊이-3 세트-다중선형 회로에 대해 명시적, 결정론적, 블랙박스 다항식 동일성 테스팅 알고리즘을 개발하기.
• 실수 체 $\mathbb{R}$ 상에서 저질서 행렬 복구를 위한 효율적이고 결정론적이며 비적응형 측정 집합을 구성하여 최적 또는 준최적 크기를 확보하기.
• 저질서 복구와 희소 벡터 복구 사이의 공식적 연결 고리를 설정하여, 희소 복구에서 저질서 복구로의 감소를 가능하게 하기.
• 저질서 복구 구성 기반으로 효율적 디코딩과 양호한 레이트를 갖는 행렬과 텐서 상의 명시적 순서-거리 코드를 구성하기.
• 명시적 히트 세트와 변수 감소 기법을 통해 텐서 질서와 회로 하한선에 대한 이해를 향상시키기.

제안 방법

• 비영인 텐서가 고질서를 갖는 $\ker(\mathcal{H})$ 내의 모든 비영인 텐서가 고질서를 갖는 1차원 부분공간 $\mathcal{H}$를 찾는 것으로 텐서의 동일성 테스팅을 저질서 텐서의 부분공간으로 환원한다.
• Prony의 방법과 이중 Reed-Solomon 코드의 심호 코드를 사용하여 크기 $4nr$인 행렬용 명시적 히트 세트를 구성한다.
• 다변수 동일성 테스팅을 단변수 테스팅으로 감소시키기 위해 다항식의 질서 기반 분해 기법을 적용한다.
• 희소 복구 감소를 저질서 복구로 일반화한다: 길이 $n$이고 희소성 $2r$인 $m$-측정 희소 복구 알고리즘은 $n \times n$ 행렬의 질서 $\leq r$에 대해 $2nm$-측정 저질서 복구 체계를 유도한다.
• 볼록 최적화를 사용하지 않고 선형대수 기법을 사용하여 $\mathcal{O}(rn^2 + r^3n)$ 시간 복잡도를 갖는 저질서 복구 체계를 설계한다.
• 저질서 복구 집합의 쌍대를 취하여 순서-거리 코드를 구성하며, 최소 거리 $\geq 2r+1$를 보장하고 복구 알고리즘을 통한 효율적 디코딩을 보장한다.

실험 결과

연구 질문

• RQ1 임의의 체 위의 깊이-3 세트-다중선형 회로에 대해 명시적, 결정론적, 블랙박스 동일성 테스팅을 달성할 수 있는가?
• RQ2 질서 $\leq r$인 $n \times n$ 행렬의 정확한 복구를 가능하게 하는 결정론적 비적응형 측정 집합의 최소 크기는 얼마인가?
• RQ3 희소 복구 알고리즘은 체계적으로 저질서 행렬 복구로 감소시킬 수 있으며, 측정 크기와 런타임 간의 상충 관계는 무엇인가?
• RQ4 효율적 디코딩이 가능한 명시적 고레이트 순서-거리 코드를 행렬과 텐서에서 어떻게 구성할 수 있는가?
• RQ5 고차원 텐서의 히트 세트 크기를 존재론적 경계에 맞추어 줄일 수 있는가, 특히 $d=3$의 경우에 대해?

주요 결과

• 실수 체 $\mathbb{R}$ 상의 $n \times n$ 행렬에 대해 크기 $4nr$의 명시적 히트 세트를 구성하여 결정론적 비적응형 블랙박스 동일성 테스팅과 $\mathcal{O}(rn^2 + r^3n)$ 체 연산 내에서의 행렬 복구를 가능하게 한다.
• 순서 $d > 2$인 텐서의 경우, 크기 $\poly((2nd)^d, (2r)^{\mathcal{O}(\lg d)})$의 준다항식 크기 히트 세트를 구성하며, 이는 거의 최적이고 명시적이다.
• 공식적 감소를 확립한다: 길이 $n$이고 희소성 $2r$인 벡터에 대한 $m$-측정 희소 복구 알고리즘은 질서 $\leq r$인 $n \times n$ 행렬에 대해 $2nm$-측정 저질서 복구 체계를 유도하며, 런타임은 $\mathcal{O}(rn^2 + n\tau)$이다.
• 매개변수 $[n^2, n^2 - 2nr, 2r+1]_{\mathbb{F}}$와 효율적 디코딩을 갖는 명시적 순서-거리 코드를 행렬에 대해 구성하며, $|\mathbb{F}| > (2nd)^d$일 때 성립한다.
• 텐서의 경우 매개변수 $[n^d, n^d - dn(2r)^{\lceil \lg d \rceil}, 2r+1]_{\mathbb{F}}$와 $\poly((2nd)^d, (2r)^{\mathcal{O}(\lg d)})$-시간 디코딩을 갖는 코드를 구성하며, 패리티 체크는 모두 질서-1 텐서이다.
• 확장 체에서 기본 체로의 감소 과정에서 측정 행렬의 질서-1 성질을 유지하지만, 크기의 $\exp(d)$ 증가가 발생하며, 이를 개선할 수 있는지 여부는 여전히 열린 문제이다.