[논문 리뷰] Limits on representing Boolean functions by linear combinations of simple functions: thresholds, ReLUs, and low-degree polynomials

Ryan Williams|arXiv (Cornell University)|2018. 02. 25.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 부울 함수를 표현하기 위해 필요한 선형 조합의 흐문성(super-polynomial lower bounds)에 대해 새로운 초다항(lower bounds)을 확립한다. 구체적으로 선형 임계값 함수, ReLU 게이트, 유한체 위의 저차수 다항식과 같은 단순한 함수들의 선형 조합에 대해 적용된다. 새로운 '쉬운 증거자' 보조정리와 고급 대수 기법을 활용하여, NTIME[n^α(n)] 및 E^NP에 속하는 특정 함수들이 지수적 또는 초다항적으로 많은 이러한 구성 요소를 필요로 함을 증명함으로써, 회로 복잡도 이론과 신경망 표현력의 한계를 발전시킨다.

ABSTRACT

We consider the problem of representing Boolean functions exactly by "sparse" linear combinations (over $\\mathbb{R}$) of functions from some "simple" class ${\\cal C}$. In particular, given ${\\cal C}$ we are interested in finding low-complexity functions lacking sparse representations. When ${\\cal C}$ is the set of PARITY functions or the set of conjunctions, this sort of problem has a well-understood answer, the problem becomes interesting when ${\\cal C}$ is "overcomplete" and the set of functions is not linearly independent. We focus on the cases where ${\\cal C}$ is the set of linear threshold functions, the set of rectified linear units (ReLUs), and the set of low-degree polynomials over a finite field, all of which are well-studied in different contexts. We provide generic tools for proving lower bounds on representations of this kind. Applying these, we give several new lower bounds for "semi-explicit" Boolean functions. For example, we show there are functions in nondeterministic quasi-polynomial time that require super-polynomial size: $\\bullet$ Depth-two neural networks with sign activation function, a special case of depth-two threshold circuit lower bounds. $\\bullet$ Depth-two neural networks with ReLU activation function. $\\bullet$ $\\mathbb{R}$-linear combinations of $O(1)$-degree $\\mathbb{F}_p$-polynomials, for every prime $p$ (related to problems regarding Higher-Order "Uncertainty Principles"). We also obtain a function in $E^{NP}$ requiring $2^{\\Omega(n)}$ linear combinations. $\\bullet$ $\\mathbb{R}$-linear combinations of $ACC \\circ THR$ circuits of polynomial size (further generalizing the recent lower bounds of Murray and the author). (The above is a shortened abstract. For the full abstract, see the paper.)

연구 동기 및 목표

• 부울 함수를 표현하기 위해 필요한 간단한 함수들(임계값, ReLU, 저차수 다항식)의 선형 조합의 흐문성에 대해 강력한 하한을 확립하는 것.
• 깊이 2 신경망과 임계값 회로의 표현력 한계에 관한 오랫동안 열려 있던 문제를 해결하는 것.
• 기존의 가중치 크기 제약을 초월하여 임의의 실수 가중치를 가진 설정으로 관련성 기반 하한 기법을 확장하는 것.
• 특히 NP 및 E^NP에 속하는 함수에 대해 하한을 증명하는 데 쓸 수 있는 새로운 도구를 제공하는 것.
• 표현 복잡도와 푸리에 분석에서의 고차수 불확실성 원리 사이의 관계를 탐구하는 것.

제안 방법

• 코디 머레이와 저자가 제안한 새로운 '쉬운 증거자' 보조정리를 활용하여 표현에 어려운 사례를 식별한다.
• 유한체 위에서 다항식 보간과 모듈러스 증폭 기법을 적용하여 부울 함수의 수를 모의 실험한다.
• 주어진 다항식 $ q $의 근을 세는 데 사용되는 다항식 $ Q $를 $ P_{\delta n}(1 - q(x)^{p-1}) $의 합으로 구성한다.
• 빠른 다항식 평가 알고리즘(정리 2.4)을 활용하여 $ 2^{n - \delta n} $개의 할당에 대해 $ 2^{n - \varepsilon n} \cdot \text{poly}(n) $ 시간 내에 $ Q $를 계산한다.
• Sum-Product 문제를 $ Q $의 평가로 환원하여 고정 차수 다항식에 대해 초지수적 시간을 넘어서는 알고리즘을 가능하게 한다.
• 이러한 알고리즘을 하한으로 번역하기 위해, 함수가 흐문 표현을 가졌다면 Sum-Product 문제의 시간 복잡도와 모순됨을 보인다.

실험 결과

연구 질문

• RQ1 시간 복잡도가 $ n^{\alpha(n)} $이고 $ n^{\alpha(n)} $가 시간 구축 가능한 경우, NTIME[n^α(n)]에 속하는 함수들이 정확히 표현하기 위해 초다항적으로 많은 선형 임계값 함수가 필요한가?
• RQ2 ReLU 기반의 깊이 2 신경망이 NTIME[n^α(n)]에 속하는 특정 함수를 표현하기 위해 초다항 크기를 가져야 하는가?
• RQ3 유한체 위의 저차수 다항식의 선형 조합으로 AND 또는 기타 NP 함수를 표현하는 데 하한을 확립할 수 있는가?
• RQ4 이 논문의 기법이 차수 2 다항식에 대한 '고정 차수 가설'을 해결할 수 있는가?
• RQ5 AND 함수를 표현하기 위해 필요한 이차 $ \mathbb{F}_2 $-다항식의 선형 조합의 최소 크기는 얼마인가?

주요 결과

• 시간 복잡도가 $ n^{\alpha(n)} $이고 $ n^{\alpha(n)} $가 시간 구축 가능한 경우, NTIME[n^α(n)]에 속하는 함수들은 정확히 표현하기 위해 초다항적으로 많은 선형 임계값 함수가 필요하다.
• NTIME[n^α(n)]에 속하는 함수들은 정확히 표현하기 위해 초다항적으로 많은 ReLU 게이트가 필요하며, 이는 임의의 실수 가중치를 가질 수 있음에도 불구하고 마찬가지다.
• NTIME[n^{poly(log n)}]에 속하는 함수들은 정확히 표현하기 위해 다항식 크기의 ACC∘THR 회로를 초다항적으로 많이 필요로 한다.
• E^NP에 속하는 함수는 선형 조합의 크기가 $ 2^{\Omega(n)} $ 이상이어야 하며, 이는 지수 하한을 확립한다.
• 모든 고정 차수 $ d $와 소수 $ p $에 대해, $ \varepsilon > 0 $ 이 존재하여 MODp∘ANDd 회로의 Sum-Product 문제를 $ 2^{n - \varepsilon n} \cdot \text{poly}(n) $ 시간 내에 해결할 수 있으며, 이는 초지수적 알고리즘을 암시한다.
• 이 논문은 임계값, ReLU, 유한체 위의 저차수 다항식 표현 클래스에서 NP 함수에 대해 최초의 고정 다항식 하한을 제공한다.