[논문 리뷰] The Limits of Depth Reduction for Arithmetic Formulas: It's all about the top fan-in

Mrinal Kumar, Shubhangi Saraf|arXiv (Cornell University)|2013. 11. 26.

Complexity and Algorithms in Graphs인용 수 3

한 줄 요약

이 논문은 개선된 깊이 감소 기법을 사용하여 상단 팬인이 $ o(\log n) $ 인 동차 깊이-4 산술 회로에 대해 처음으로 초다항(lower) 하한을 확립한다. 또한 상단 팬인이 $ \Omega(\log n) $ 일 때 깊이 감소 기법을 더 이상 향상시킬 수 없음을 증명하여, 깊이 감소와 이동 부분 도함수(moved partial derivatives)의 병합 방법이 일반 산술 공식의 하한을 증명하는 데에는 부족하다는 것을 시사한다.

ABSTRACT

In recent years, a very exciting and promising method for proving lower bounds for arithmetic circuits has been proposed. This method combines the method of {\it depth reduction} developed in the works of Agrawal-Vinay [AV08], Koiran [Koi12] and Tavenas [Tav13], and the use of the shifted partial derivative complexity measure developed in the works of Kayal [Kay12] and Gupta et al [GKKS13a]. These results inspired a flurry of other beautiful results and strong lower bounds for various classes of arithmetic circuits, in particular a recent work of Kayal et al [KSS13] showing superpolynomial lower bounds for {\it regular} arithmetic formulas via an {\it improved depth reduction} for these formulas. It was left as an intriguing question if these methods could prove superpolynomial lower bounds for general (homogeneous) arithmetic formulas, and if so this would indeed be a breakthrough in arithmetic circuit complexity. In this paper we study the power and limitations of depth reduction and shifted partial derivatives for arithmetic formulas. We do it via studying the class of depth 4 homogeneous arithmetic circuits. We show: (1) the first {\it superpolynomial lower bounds} for the class of homogeneous depth 4 circuits with top fan-in $o(\log n)$. The core of our result is to show {\it improved depth reduction} for these circuits. (2) We show that improved depth reduction {\it is not possible} when the top fan-in is $Ω(\log n)$. In particular this shows that the depth reduction procedure of Koiran and Tavenas [Koi12, Tav13] cannot be improved even for homogeneous formulas, thus strengthening the results of Fournier et al [FLMS13] who showed that depth reduction is tight for circuits, and answering some of the main open questions of [KSS13, FLMS13].

연구 동기 및 목표

• 상단 팬인이 유한한 동차 깊이-4 산술 회로에 대해 초다항 하한을 확립하기.
• 일반 산술 공식에 대한 깊이 감소 기법과 이동 부분 도함수 방법의 조합이 가지는 한계를 조사하기.
• 상단 팬인이 $ \Omega(\log n) $ 일 때 동차 공식에 대해 개선된 깊이 감소가 가능한지 판단하기.
• 이전 연구에서 남겨진 깊이 감소의 날카로움과 $ \Sigma\Pi\Sigma\Pi^{[t]} $ 회로에 대한 하한에 관한 열린 문제를 해결하기.
• 이러한 결과가 산술 회로 복잡도에서 하한을 증명하는 데 미치는 영향, 특히 일반 동차 공식에 대해 탐색하기.

제안 방법

• 상단 팬인이 $ o(\log n) $ 인 동차 깊이-4 회로에 대해 개선된 깊이 감소 절차를 도입하여 더 강력한 하한을 도출한다.
• 구축된 다항식의 도함수의 질량을 분석하기 위해 이동 부분 도함수 복잡도 측도를 적용한다.
• 상단 팬인이 적어도 $ n^{\Omega(n/t)} $ 이상이어야 하는 $ \Sigma\Pi\Sigma\Pi^{[t/20]} $ 회로를 요구하는 다항식의 가족 $ \mathcal{P}_{t,n} $ 을 구성한다.
• 변수 계수를 가진 이러한 다항식의 선형 조합을 사용하여, $ \omega(\log n) \leq a \leq n/800 $ 인 $ \Sigma\Pi\Sigma\Pi^{[a]} $ 회로에 의해 효율적으로 계산될 수 없는 단일 다항식 $ \mathcal{Q}_n $ 을 구축한다.
• 보간법과 사영법을 활용하여, $ \mathcal{Q}_n $ 을 계산하는 임의의 회로는 상단 팬인이 $ 2^{\Omega(n \log n / a)} $ 이상이어야 한다는 것을 보인다.
• 상단 팬인이 $ \Omega(\log n) $ 일 때 깊이 감소가 최적임을 증명하여, 더 이상 향상시킬 수 없다는 것을 보인다.

실험 결과

연구 질문

• RQ1 개선된 깊이 감소와 이동 부분 도함수를 사용하여 상단 팬인이 $ o(\log n) $ 인 동차 깊이-4 회로에 대해 초다항 하한을 증명할 수 있는가?
• RQ2 기존의 한계를 넘어서 동차 산술 공식에 대해 깊이 감소 절차를 더 이상 향상시킬 수 있는가?
• RQ3 일반 산술 공식에 대한 하한을 증명할 때 깊이 감소와 이동 부분 도함수 방법의 조합이 가지는 한계는 무엇인가?
• RQ4 $ \Sigma\Pi\Sigma\Pi^{[\log n]} $ 회로에 대해 비어 있지 않은 하한을 확립할 수 있는가? 이는 핵심적인 중간 클래스이다.
• RQ5 Koiran과 Tavenas의 깊이 감소 기법은 동차 공식에 대해 여전히 최적인가, 아니면 더 최적화될 수 있는가?

주요 결과

• 논문은 상단 팬인이 $ o(\log n) $ 인 동차 깊이-4 회로에 대해 처음으로 초다항 하한을 확립하였으며, 특히 $ \Sigma\Pi\Sigma\Pi^{[t/20]} $ 회로에 대해 $ 2^{\Omega(n \log n / t)} $ 의 하한을 보였다.
• 상단 팬인이 $ \Omega(\log n) $ 일 때 개선된 깊이 감소가 불가능하다는 것을 증명하여, Koiran-Tavenas 깊이 감소가 동차 공식에 대해서도 최적임을 보였다.
• $ \mathcal{Q}_n $ 다항식 가족의 구성은, $ \omega(\log n) \leq a \leq n/800 $ 인 임의의 $ \Sigma\Pi\Sigma\Pi^{[a]} $ 회로가 이를 계산하려면 상단 팬인이 적어도 $ 2^{\Omega(n \log n / a)} $ 이상이어야 한다는 것을 보여준다.
• 결과적으로 현재의 깊이 감소와 이동 부분 도함수 프레임워크는 일반(동차) 산술 공식에 대해 초다항 하한을 증명하는 데에는 부족하다는 것을 시사한다.
• 논문은 [KSS13]과 [FLMS13]에서 제기된 열린 문제를 해결하여, 심지어 동차 케이스에서도 깊이 감소가 기존의 한계를 넘어서는 개선이 불가능하다는 것을 보였다.
• 이 결과는 $ \Sigma\Pi\Sigma\Pi^{[t]} $ 공식에 대한 계층 정리(hierarchy theorem)를 암시하며, 상단 팬인을 늘일수록 더 강력한 표현 능력을 가짐을 시사한다.