[論文レビュー] On Identity Testing of Tensors, Low-rank Recovery and Compressed Sensing

Michael A. Forbes, Amir Shpilka|arXiv (Cornell University)|Nov 2, 2011

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本稿は、構造的測定セットを用いた低ランク回復を活用して、低ランクテンソルおよび行列の明示的・決定的・ブラックボックス多項式恒等的テストアルゴリズムを提示する。行列のための最適サイズのヒットセット（サイズ $4nr$）と高次テンソルの準最適サイズのヒットセットを構築し、圧縮センシングおよびランク距離符号への応用を含む。

ABSTRACT

We study the problem of obtaining efficient, deterministic, black-box polynomial identity testing algorithms for depth-3 set-multilinear circuits (over arbitrary fields). This class of circuits has an efficient, deterministic, white-box polynomial identity testing algorithm (due to Raz and Shpilka), but has no known such black-box algorithm. We recast this problem as a question of finding a low-dimensional subspace H, spanned by rank 1 tensors, such that any non-zero tensor in the dual space ker(H) has high rank. We obtain explicit constructions of essentially optimal-size hitting sets for tensors of degree 2 (matrices), and obtain quasi-polynomial sized hitting sets for arbitrary tensors (but this second hitting set is less explicit). We also show connections to the task of performing low-rank recovery of matrices, which is studied in the field of compressed sensing. Low-rank recovery asks (say, over the reals) to recover a matrix M from few measurements, under the promise that M is rank <=r. We also give a formal connection between low-rank recovery and the task of sparse (vector) recovery: any sparse-recovery algorithm that exactly recovers vectors of length n and sparsity 2r, using m non-adaptive measurements, yields a low-rank recovery scheme for exactly recovering nxn matrices of rank <=r, making 2nm non-adaptive measurements. Furthermore, if the sparse-recovery algorithm runs in time τ, then the low-rank recovery algorithm runs in time O(rn^2+nτ). We obtain this reduction using linear-algebraic techniques, and not using convex optimization, which is more commonly seen in compressed sensing algorithms. By using a dual Reed-Solomon code, we are able to (deterministically) construct low-rank recovery schemes taking 4nr measurements over the reals, such that the measurements can be all rank-1 matrices, or all sparse matrices.

研究の動機と目的

• 任意の体上の深さ3のセット-multilinear回路に対する明示的・決定的・ブラックボックス多項式恒等的テストアルゴリズムの開発。
• サイズが最適またはほぼ最適となる、$\mathbb{R}$ 上の低ランク行列回復のための効率的・決定的・非適応的測定セットの構築。
• 低ランク回復とスパースベクトル回復の間の形式的関係の確立により、スパース回復から低ランク回復への還元を可能にする。
• 低ランク回復構成に基づき、効率的なデコードと良好なレートを有する行列およびテンソル上の明示的ランク距離符号の構築。
• 明示的ヒットセットおよび変数削減技術を用いて、テンソルランクおよび回路下界の理解を深める。

提案手法

• 非ゼロのテンソルが高ランクを持つような、ランク1テンソルの部分空間 $\mathcal{H}$ を見つけることで、テンソルの恒等的テストを低ランク部分空間に還元する。
• Prony法と双対 Reed-Solomon 符号の syndrome デコーディングを用いて、サイズ $4nr$ の行列の明示的ヒットセットを構築する。
• 多変数恒等的テストを単変数テストに還元するための変数削減技術を適用し、多項式のランクに基づく分解を用いる。
• スパース回復還元を低ランク回復に一般化：スパース性 $2r$ の長さ $n$ のベクトルに対する $m$ 測定のスパース回復アルゴリズムは、$n \times n$ 行列のランク $\leq r$ の低ランク回復スキーム（$2nm$ 測定）を導く。
• 凸最適化ではなく線形代数的技術を用いて、$\mathcal{O}(rn^2 + r^3n)$ 時間計算量の低ランク回復スキームを設計する。
• 低ランク回復集合の双対を取ることでランク距離符号を構築し、最小距離 $\geq 2r+1$ かつ回復アルゴリズムによる効率的デコードを保証する。

実験結果

リサーチクエスチョン

• RQ1 任意の体上の深さ3のセット-multilinear回路に対して、明示的・決定的・ブラックボックス恒等的テストが達成可能か？
• RQ2 $n \times n$ 行列のランク $\leq r$ を正確に回復できる、決定的・非適応的測定セットの最小サイズは何か？
• RQ3 スパース回復アルゴリズムを体系的に低ランク行列回復に還元可能か？測定サイズと実行時間のトレードオフは何か？
• RQ4 行列およびテンソル上に、効率的デコードを有する明示的・高レートランク距離符号をどのように構築できるか？
• RQ5 高次テンソルのヒットセットサイズを、存在的境界に近づけることは可能か、特に $d=3$ の場合に？

主な発見

• 実数体 $\mathbb{R}$ 上の $n \times n$ 行列に対して、サイズ $4nr$ の明示的ヒットセットを構築し、$\mathcal{O}(rn^2 + r^3n)$ 個の体演算で決定的・非適応的・ブラックボックス恒等的テストおよび行列回復を実現する。
• $d > 2$ 階のテンソルに対しては、サイズ $\poly((2sd)^d, (2r)^{\mathcal{O}(\lg d)})$ の準多項式サイズのヒットセットを構築し、これはほぼ最適かつ明示的である。
• 形式的な還元を確立：長さ $n$、スパース性 $2r$ のベクトルに対する $m$ 測定のスパース回復アルゴリズムは、$n \times n$ 行列のランク $\leq r$ の低ランク回復スキーム（$2nm$ 測定）を導き、実行時間 $\mathcal{O}(rn^2 + n\tau)$ を有する。
• 体 $\mathbb{F}$ が $|\mathbb{F}| > (2sd)^d$ を満たすとき、パラメータ $[n^2, n^2 - 2nr, 2r+1]_{\mathbb{F}}$ および効率的デコードを有する明示的ランク距離符号を行列上に構築する。
• テンソルに対しては、パラメータ $[n^d, n^d - dn(2r)^{\lceil \lg d \rceil}, 2r+1]_{\mathbb{F}}$ および $\poly((2sd)^d, (2r)^{\mathcal{O}(\lg d)})$ 時間デコードを有する符号を構築し、パリティーチェックはすべてランク1テンソルである。
• 拡張体から基本体への還元において、測定行列のランク1性質を保つが、サイズに $\exp(d)$ の増大が生じる。この増大を改善する方法は、未解決の問題のままである。