[논문 리뷰] The Chasm at Depth Four, and Tensor Rank : Old results, new insights

Suryajith Chillara, Mrinal Kumar외 2명|arXiv (Cornell University)|2016. 06. 14.

Complexity and Algorithms in Graphs참고 문헌 7인용 수 9

한 줄 요약

이 논문은 산술 회로, 공식 및 일정 깊이의 회로에 대한 깊이 감소의 단순화된, 조합론적 기반의 증명을 제시한다. 이는 고전적인 깊이 네 개의 균형 공식으로까지 확장된 깊이 네 개의 균형 공식으로의 확장이다. 깊이 감소의 구조적 통찰을 활용하여 레즈의 결과에 대한 새로운, 간결한 증명을 제시한다: 임의의 체에서 산술 공식의 초다항식 하한을 이끌어내기 위해, $\omega(1) \leq d \leq n^{o(1)}$ 범위 내에서 높은 질량을 가진 명시적 텐서를 구성하는 것은 초다항식 하한을 이끌어낸다.

ABSTRACT

Agrawal and Vinay [AV08] showed how any polynomial size arithmetic circuit can be thought of as a depth four arithmetic circuit of subexponential size. The resulting circuit size in this simulation was more carefully analyzed by Korian [Koiran] and subsequently by Tavenas [Tav13]. We provide a simple proof of this chain of results. We then abstract the main ingredient to apply it to formulas and constant depth circuits, and show more structured depth reductions for them. In an apriori surprising result, Raz [Raz10] showed that for any $n$ and $d$, such that $ ω(1) \leq d \leq O\left(\frac{\log n}{\log\log n} ight)$, constructing explicit tensors $T:[n]^d ightarrow F$ of high enough rank would imply superpolynomial lower bounds for arithmetic formulas over the field $F$. Using the additional structure we obtain from our proof of the depth reduction for arithmetic formulas, we give a new and arguably simpler proof of this connection. We also extend this result for homogeneous formulas to show that, in fact, the connection holds for any $d$ such that $ω(1) \leq d \leq n^{o(1)}$.

연구 동기 및 목표

• 조합론적 접근을 사용하여 산술 회로의 깊이 네 개의 균형 결과를 더 단순하게 증명하는 것.
• 깊이 감소 프레임워크를 균형 잡힌 산술 공식과 일정 깊이의 회로로 확장하여 추가적인 구조적 성질을 드러내는 것.
• 공식 내에서 향상된 구조를 활용하여, 레즈의 결과(텐서 질량과 산술 공식의 하한 사이의 연결)에 대한 단순화된 증명을 제공하는 것.
• 균형 조건을 가정할 때, 원래의 $d = O(\log n / \log \log n)$ 범위를 초월하여 $d \leq n^{o(1)}$까지 레즈의 결과를 일반화하는 것.
• 공식의 텐서 질량 상한이 비어 있지 않은 집합-다항식 깊이 세 개의 회로로의 축소를 명확히 하는 구조적 의미를 밝혀내는 것.

제안 방법

• 회로의 차수를 수준으로 나누는 조합론적 깊이 감소 기법을 사용하여, 균형 잡힌 깊이 네 개의 구조를 보장한다.
• 균형 잡힌 공식에 깊이 감소를 적용하여, 상위 수준의 곱 게이트의 최소 팬인 수가 $d \cdot d^{1/\Delta}/t$ 비례함을 보여준다. 여기서 $\Delta$는 공식의 곱 깊이다.
• 변수 집합의 분할을 사용하여, 곱에서 오직 집합-다항식 단항식만을 분리하는 집합-다항식화 절차를 도입한다.
• 다항계수와 인자 수의 지수 감소를 사용하여 각 집합-다항식 성분의 텐서 질량을 상한한다.
• 파라미터 $t$ (팬인 임계값)를 최적화하여 항의 수와 항당 질량 간의 균형을 맞추고, 최종 상한에서 지수 감소하는 분모를 달성한다.
• 특히 $t = 2^{O(c)}$로 설정함으로써 $\operatorname{TensorRank}(f) \leq n^d / n^{d/\exp(c)}$라는 상한을 적용하여, 분모의 지수 부분이 $d/\exp(c)$로 증가하도록 보장한다.

실험 결과

연구 질문

• RQ1 산술 회로의 깊이 네 개의 균형 결과를 조합론적 논증을 통해 더 단순하게 증명할 수 있는가?
• RQ2 일般적인 회로와 비교할 때, 균형 잡힌 산술 공식의 깊이 감소에서 추가로 나타나는 구조적 제약 조건은 무엇인가?
• RQ3 공식의 깊이 감소에서 향상된 구조는 레즈의 텐서 질량 하한 연결에 대해 더 강력하거나 일반적인 형태로 확장할 수 있는가?
• RQ4 높은 텐서 질량이 초다항식 공식 하한을 이끌어내는 $d$의 범위를 원래의 $O(\log n / \log \log n)$ 이외로 확장할 수 있는가?
• RQ5 공식의 맥락에서, 텐서 질량 상한과 집합-다항식 깊이 세 개의 회로로의 축소 사이에 자연스러운 연결 고리가 존재하는가?

주요 결과

• 논문은 조합론적 분할 논증을 사용하여 산술 회로의 깊이 네 개의 균형 결과에 대한 새로운, 기본적인 증명을 제공한다.
• 크기가 $n^c$인 균형 잡힌 공식에 대해, 계산된 다항식의 텐서 질량은 $d \leq n^{o(1)}$일지라도 최대 $n^d / n^{d/\exp(c)}$이다.
• 이 증명 기법은 일정 깊이의 회로로도 확장되며, 깊이 감소된 공식에서 상위 수준의 곱 게이트가 최소한의 비자명한 인자 수를 가져야 한다는 것을 드러낸다.
• 저자들은 공식의 텐서 질량 상한이 사실상 비어 있지 않은 집합-다항식 깊이 세 개의 회로로의 축소와 동치임을 보였다.
• 집합-다항식화 단계를 연기함으로써, 레즈의 결과 적용 범위를 넓히고, $d \leq n^{o(1)}$까지 확장하였다.
• 최종 상한 $\operatorname{TensorRank}(f) \leq n^d / n^{d/\exp(c)}$는 항의 수와 항당 질량 간의 균형을 맞추어 유도되었으며, 분모의 지수 부분은 $d/\exp(c)$로 증가한다.