[論文レビュー] On Multilinear Forms: Bias, Correlation, and Tensor Rank

Abhishek Bhrushundi, Prahladh Harsha+3 more|arXiv (Cornell University)|Apr 24, 2018

Mathematical Approximation and Integration参考文献 10被引用数 1

ひとこと要約

本稿は、F2上での多線形形式のバイアス、低次多項式との相関、および関連するd次元テンソルのテンソルランクの間の密接な関係を確立する。ランダムなd次形式が、次数≤d/2の多項式と指数的に小さい相関を持つことを証明し、低ランクテンソルが高バイアスを示すことを示す。これにより、テンソルランクに関する新たな下界が得られ、特にF2上での有限体乗算テンソルに対して3.52kの下界が得られ、F2上での任意の明示的3次テンソルに対して達成可能な最良の既知の下界と一致する。

ABSTRACT

In this paper, we prove new relations between the bias of multilinear forms, the correlation between multilinear forms and lower degree polynomials, and the rank of tensors over $GF(2)= \{0,1\}$. We show the following results for multilinear forms and tensors. 1. Correlation bounds : We show that a random $d$-linear form has exponentially low correlation with low-degree polynomials. More precisely, for $d \ll 2^{o(k)}$, we show that a random $d$-linear form $f(X_1,X_2, \dots, X_d) : \left(GF(2)^{k} ight)^d ightarrow GF(2)$ has correlation $2^{-k(1-o(1))}$ with any polynomial of degree at most $d/10$. This result is proved by giving near-optimal bounds on the bias of random $d$-linear form, which is in turn proved by giving near-optimal bounds on the probability that a random rank-$t$ $d$-linear form is identically zero. 2. Tensor-rank vs Bias : We show that if a $d$-dimensional tensor has small rank, then the bias of the associated $d$-linear form is large. More precisely, given any $d$-dimensional tensor $$T :\underbrace{[k] imes \ldots [k]}_{ ext{$d$ times}} o GF(2)$$ of rank at most $t$, the bias of the associated $d$-linear form $$f_T(X_1,\ldots,X_d) := \sum_{(i_1,\dots,i_d) \in [k]^d} T(i_1,i_2,\ldots, i_d) X_{1,i_1}\cdot X_{1,i_2}\cdots X_{d,i_d}$$ is at least $\left(1-\frac1{2^{d-1}} ight)^t$. The above bias vs tensor-rank connection suggests a natural approach to proving nontrivial tensor-rank lower bounds for $d=3$. In particular, we use this approach to prove that the finite field multiplication tensor has tensor rank at least $3.52 k$ matching the best known lower bound for any explicit tensor in three dimensions over $GF(2)$.

研究の動機と目的

• F2上でのテンソルランク、多線形形式のバイアス、および低次多項式との相関の間の定量的でタイトな関係を確立すること。
• ランダムなd次形式が、次数d/2以下の多項式と指数的に小さい相関を持つことを証明すること。
• バイアス-ランクの関係を用いて、非自明なテンソルランク下界を示す新しい手法を開発すること。
• この手法を用いて、F2上での有限体乗算テンソルのテンソルランクに対して3.52kの下界を示すこと。
• 特に3次元テンソルに関して、明示的テンソルランク下界の理解を深めること、これらは依然として十分に理解されていない。

提案手法

• ランクtのd次形式が恒等的に0である確率を分析することにより、ランダムなd次形式のバイアスに関する近似的に最良の境界を証明する。
• 一般不等式を確立し、d次テンソルのランク≤tであれば、対応する多線形形式のバイアスが(1 − 1/2^{d−1})^t以上であることを示す。
• バイアス-ランクの関係を用いて、特定のテンソルのバイアスを上界で抑え、それによってテンソルランクの下界を導出する。
• 有限体乗算テンソルに対してこの手法を適用する際、線形代数とランダム行列のランク分布を用いてバイアスの上界を求める。
• 二値符号のMRRW境界と線形部分空間の性質を用いて、核空間の次元の下界を導出し、それによってランクの下界を得る。
• バイアスが小さい場合、核の双対空間の最小距離が高くなるため、核の次元が大きくなり、結果としてテンソルランクが高くなるという事実を活用する。

実験結果

リサーチクエスチョン

• RQ1 F2上でのランダムなd次形式と次数≤d/2の多項式との相関は何か？また、dとkが増加するにつれてどのように減少するか？
• RQ2 F2上でのd次元テンソルのテンソルランクは、その関連する多線形形式のバイアスとどのように関係するか？
• RQ3 バイアス-ランクの関係を用いて、明示的テンソルのテンソルランクに対して非自明な下界を示すことができるか？
• RQ4 ランクtのテンソルに関連するd次形式が達成可能な最小バイアスは何か？また、この境界はどの程度タイトか？
• RQ5 この手法により、有限体乗算テンソルのような基本的テンソルのテンソルランク下界を改善できるか？

主な発見

• d ≪ 2^{o(k)}のとき、F2^kのd重線形形式f: (F2^k)^d → F2は、任意の次数≤d/2の多項式と2^{-k(1−o(1))}以下の相関を持つ。
• F2上でのランクがt以下の任意のd次元テンソルTに対して、対応するd次形式fTのバイアスは(1 − 1/2^{d−1})^t以上である。
• F2上での有限体乗算テンソルのテンソルランクは少なくとも3.52kであり、F2上での任意の明示的3次テンソルに対して達成可能な最良の既知の下界と一致する。
• 行列乗算テンソルMnのテンソルランクは少なくとも3n²/(4 log₂(4/3)) ≥ 1.8n²であり、バイアスの上界n·2^{-3n²/4}から導出される。
• 証明技法は、ランダム行列が与えられたランクを持つ確率を、ガウスの二項係数と和集合の上界を用いて抑えている。
• この手法は、バイアス解析を用いたテンソルランク下界を示すための新規で一般的なアプローチを確立し、任意の明示的テンソルに適用可能である。