[논문 리뷰] On top fan-in vs formal degree for depth-$3$ arithmetic circuits

Mrinal Kumar|arXiv (Cornell University)|2018. 04. 10.

Complexity and Algorithms in Graphs참고 문헌 12인용 수 3

한 줄 요약

이 논문은 복소수 위에서, 임의의 동차 도수-$d$ 다항식이 최상위 진입수 최대 $d+1$인 깊이-3 산술 회로로 근사 가능하다는 것을 증명하며, 최상위 진입수와 형식적 도수 사이의 강력한 상충 관계를 보여준다. 또한, 경계 복잡도에서 새로운 상충 관계를 제시한다: 크기가 $s$인 회로로 계산 가능한 도수-$d$ 다항식은 임의의 $t \leq d$에 대해 최상위 진입수 $s^{O(t)}$와 형식적 도수 $s^{O(d/t)}$를 갖는 깊이-3 회로로 근사 가능하며, 이는 이전에 $s^{\Omega(\sqrt{d})}$로 하한이 설정된 결과보다 향상된 것이다.

ABSTRACT

We show that over the field of complex numbers, \emph{every} homogeneous polynomial of degree $d$ can be approximated (in the border complexity sense) by a depth-$3$ arithmetic circuit of top fan-in at most $d+1$. This is quite surprising since there exist homogeneous polynomials $P$ on $n$ variables of degree $2$, such that any depth-$3$ arithmetic circuit computing $P$ must have top fan-in at least $Ω(n)$. As an application, we get a new tradeoff between the top fan-in and formal degree in an approximate analog of the celebrated depth reduction result of Gupta, Kamath, Kayal and Saptharishi [GKKS13]. Formally, we show that if a degree $d$ homogeneous polynomial $P$ can be computed by an arithmetic circuit of size $s$, then for every $t \leq d$, $P$ is in the border of a depth-$3$ circuit of top fan-in $s^{O(t)}$ and formal degree $s^{O(d/t)}$. To the best of our knowledge, the upper bound on the top fan-in in the original proof of [GKKS13] is always at least $s^{O(\sqrt{d})}$, regardless of the formal degree.

연구 동기 및 목표

• 깊이-3 산술 회로에서 다항식을 근사할 때 최상위 진입수와 형식적 도수 사이의 상충 관계를 탐색한다.
• Gupta 등(2013)의 이전 깊이 감소 결과를 개선하기 위해 최상위 진입수를 줄이고 더 높은 형식적 도수를 허용한다.
• 경계 복잡도 설정에서 더 높은 형식적 도수로 최상위 진입수를 상당히 줄일 수 있는지 조사한다.
• 깊이-3 회로를 통한 동차 다항식 근사에 필요한 최상위 진입수의 날카로운 상한을 확립한다.

제안 방법

• 형식적 도수가 실제 다항식 도수를 초과할 수 있도록 允허하는 대체 복잡도(경계 복잡도)를 사용하여 깊이-3 회로를 분석한다.
• 임의의 동차 도수-$d$ 다항식이 $d+1$개의 선형 형식의 대칭 함수임을 보여주는 구조적 결과를 적용하여 깊이-3 회로를 통한 근사 가능성을 확보한다.
• 일般 회로를 깊이-4 회로로 변환하기 위한 깊이 감소 기법을 적용한 후, 하부 레이어를 정리 1.2를 사용해 근사한다.
• 쌍대성 보조정리와 피셔 공식을 활용하여 동차 깊이-5 회로를 최상위 진입수와 도수를 제어할 수 있는 비동차 깊이-3 회로로 변환한다.
• 레이어 간의 합 게이트를 통합하여 근사 보장을 유지하면서 회로를 단일 깊이-3 아키텍처로 압축한다.
• 여러 증명을 통해 매개변수를 추적하여 회로 크기 $s$와 도수 $d$에 따라 최상위 진입수와 형식적 도수의 날카로운 상한을 유도한다.

실험 결과

연구 질문

• RQ1 형식적 도수를 높임으로써 깊이 감소에서 최상위 진입수를 $s^{\Omega(\sqrt{d})}$ 이하로 낮출 수 있는가?
• RQ2 임의의 동차 도수-$d$ 다항식이 최상위 진입수 $d+1$인 깊이-3 회로로 근사 가능한가?
• RQ3 크기가 $s$인 회로로 계산 가능한 다항식의 경계 복잡도는 임의의 $t \leq d$에 대해 최상위 진입수 $s^{O(t)}$와 형식적 도수 $s^{O(d/t)}$로 달성 가능한가?
• RQ4 최상위 진입수를 작게 유지하면서 형식적 도수를 더 날카롭게 유계화할 수 있는 자연스러운 다항식 클래스가 존재하는가?
• RQ5 선형 형식의 대칭 다항식에 대한 구조적 결과를 근사가 아닌 정확한 계산으로 확장할 수 있는가?

주요 결과

• 모든 복소수 위의 동차 도수-$d$ 다항식은 변수의 수에 관계없이 최상위 진입수 최대 $d+1$인 깊이-3 회로로 근사 가능하다.
• 모든 $t \leq d$에 대해, 크기가 $s$인 회로로 계산 가능한 도수-$d$ 다항식은 최상위 진입수 $s^{O(t)}$와 형식적 도수 $s^{O(d/t)}$를 갖는 깊이-3 회로로 근사 가능하며, 이는 이전 결과보다 향상된 것이다.
• 이 상충 관계는 Gupta 등(2013)의 원래 깊이 감소에서 $s^{\Omega(\sqrt{d})}$의 최상위 진입수 하한을 초월하여, 높은 형식적 도수를 허용하더라도 개선된 결과를 제공한다.
• 이 결과는 경계 복잡도에서 형식적 도수를 높임으로써 최상위 진입수를 상당히 줄일 수 있음을 보여주며, 깊이-3 회로 설계에 새로운 패러다임을 제안한다.
• 본문 상충 관계 결과에 대해 두 가지 증명이 제시되며, 하나는 깊이-4 감소를, 다른 하나는 피셔 공식과 쌍대성 보조정리를 사용한다. 두 증명 모두 동일한 매개변수 상한을 도출한다.
• 최상위 진입수에 대한 상한은 날카로운 것으로, 예를 들어 기본 대칭 다항식과 같은 일부 다항식의 경우 정확한 깊이-3 회로는 $\Omega(n)$의 최상위 진입수가 필요하므로, 근사의 힘을 강조한다.