[논문 리뷰] On Multilinear Forms: Bias, Correlation, and Tensor Rank

Abhishek Bhrushundi, Prahladh Harsha외 3명|arXiv (Cornell University)|2018. 04. 24.

Mathematical Approximation and Integration참고 문헌 10인용 수 1

한 줄 요약

이 논문은 F2 상의 다중선형 형식의 편향, 저차수 다항식과의 상관관계, 그리고 관련된 d차원 텐서의 텐서 랭크 사이의 밀접한 연결을 확립한다. 무작위 d-선형 형식이 차수 ≤d/2 다항식과 지수적으로 작은 상관관계를 가진다는 것을 증명하며, 낮은 텐서 랭크는 높은 편향을 암시한다—이는 새로운 텐서 랭크 하한을 가능하게 하며, 특히 유한체 곱셈 텐서의 경우 3.52k의 하한을 도출하여 F2 상의 임의의 명시적 3-텐서에 대해 알려진 최고의 하한과 일치시킨다.

ABSTRACT

In this paper, we prove new relations between the bias of multilinear forms, the correlation between multilinear forms and lower degree polynomials, and the rank of tensors over $GF(2)= \{0,1\}$. We show the following results for multilinear forms and tensors. 1. Correlation bounds : We show that a random $d$-linear form has exponentially low correlation with low-degree polynomials. More precisely, for $d \ll 2^{o(k)}$, we show that a random $d$-linear form $f(X_1,X_2, \dots, X_d) : \left(GF(2)^{k} ight)^d ightarrow GF(2)$ has correlation $2^{-k(1-o(1))}$ with any polynomial of degree at most $d/10$. This result is proved by giving near-optimal bounds on the bias of random $d$-linear form, which is in turn proved by giving near-optimal bounds on the probability that a random rank-$t$ $d$-linear form is identically zero. 2. Tensor-rank vs Bias : We show that if a $d$-dimensional tensor has small rank, then the bias of the associated $d$-linear form is large. More precisely, given any $d$-dimensional tensor $$T :\underbrace{[k] imes \ldots [k]}_{ ext{$d$ times}} o GF(2)$$ of rank at most $t$, the bias of the associated $d$-linear form $$f_T(X_1,\ldots,X_d) := \sum_{(i_1,\dots,i_d) \in [k]^d} T(i_1,i_2,\ldots, i_d) X_{1,i_1}\cdot X_{1,i_2}\cdots X_{d,i_d}$$ is at least $\left(1-\frac1{2^{d-1}} ight)^t$. The above bias vs tensor-rank connection suggests a natural approach to proving nontrivial tensor-rank lower bounds for $d=3$. In particular, we use this approach to prove that the finite field multiplication tensor has tensor rank at least $3.52 k$ matching the best known lower bound for any explicit tensor in three dimensions over $GF(2)$.

연구 동기 및 목표

• 텐서 랭크, 다중선형 형식의 편향, F2 상의 저차수 다항식과의 상관관계 사이의 정량적 관계를 정밀하게 규명하는 것.
• 무작위 d-선형 형식이 차수 최대 d/2인 다항식과 지수적으로 작은 상관관계를 가진다는 것을 증명하는 것.
• 편향-랭크 연결을 활용하여 새로운 텐서 랭크 하한을 증명하는 방법을 개발하는 것.
• 이 방법을 적용하여 F2 상의 유한체 곱셈 텐서의 텐서 랭크에 대해 3.52k의 하한을 증명하는 것.
• 특히 여전히 이해가 부족한 3차원 텐서에 대해 명시적 텐서 랭크 하한에 대한 이해를 향상시키는 것.

제안 방법

• 랭크-t인 d-선형 형식이 항등적으로 0이 되는 확률을 분석하여 무작위 d-선형 형식의 편향에 대해 최적에 가까운 하한을 증명하는 것.
• 일반 부등식을 수립하여, d-텐서의 랭크 ≤t이면 관련 다중선형 형식의 편향이 최소 (1 − 1/2^{d−1})^t 이상임을 보이는 것.
• 편향-랭크 연결을 활용하여 특정 텐서의 편향을 상한으로 제한함으로써 텐서 랭크의 하한을 유도하는 것.
• 유한체 곱셈 텐서에 이 방법을 적용하기 위해 선형대수학과 무작위 행렬의 랭크 분포를 사용하여 편향을 상한으로 제한하는 것.
• 이중코드의 MRRW 하한과 선형부분공간의 성질을 활용하여 커널 공간의 차원에 대한 하한을 도출함으로써 랭크 하한을 이끌어내는 것.
• 편향이 작을 경우 커널의 쌍대공간의 최소거리가 높아지며, 이는 커널의 차원이 크다는 것을 강제함으로써 높은 텐서 랭크를 암시하는 사실을 활용하는 것.

실험 결과

연구 질문

• RQ1 F2 상의 무작위 d-선형 형식과 차수 최대 d/2인 다항식 사이의 상관관계는 무엇이며, d와 k에 따라 어떻게 감소하는가?
• RQ2 F2 상의 d차원 텐서의 텐서 랭크는 그에 관련된 다중선형 형식의 편향과 어떻게 관련되어 있는가?
• RQ3 편향-랭크 연결을 활용하여 명시적 텐서의 텐서 랭크에 비현실적이지 않은 하한을 증명할 수 있는가?
• RQ4 랭크 t인 텐서와 관련된 d-선형 형식이 달성할 수 있는 최소 편향은 무엇이며, 이 하한은 얼마나 날카로운가?
• RQ5 이 방법을 통해 기본적인 텐서, 예를 들어 유한체 곱셈 텐서의 텐서 랭크 하한을 향상시킬 수 있는가?

주요 결과

• d ≪ 2^{o(k)}일 때, F2^k의 d-곱공간에서 F2로의 무작위 d-선형 형식 f: (F2^k)^d → F2는 차수 최대 d/2인 어떤 다항식과도 상관관계가 2^{-k(1−o(1))} 이하이다.
• F2 상에서 랭크 최대 t인 임의의 d차원 텐서 T에 대해, 관련 다중선형 형식 fT의 편향은 최소 (1 − 1/2^{d−1})^t 이상이다.
• F2 상의 유한체 곱셈 텐서의 텐서 랭크는 최소 3.52k 이상이며, 이는 F2 상의 임의의 명시적 3-텐서에 대해 알려진 최고의 하한과 일치한다.
• 행렬 곱셈 텐서 Mn의 텐서 랭크는 최소 3n²/(4 log₂(4/3)) ≥ 1.8n² 이상이며, 이는 그 편향에 대한 상한 n·2^{-3n²/4} 에 기반한다.
• 증명 기법은 무작위 행렬이 주어진 랭크를 가질 확률을 유계함수와 유니언 바운드를 사용하여 제한하는 데 기반한다.
• 이 방법은 편향 분석을 통한 텐서 랭크 하한을 증명하는 새로운 일반적인 접근법을 확립하며, 임의의 명시적 텐서에 적용 가능하다.