[논문 리뷰] New algorithms and lower bounds for circuits with linear threshold gates

Ryan Williams|arXiv (Cornell University)|2014. 01. 10.

Complexity and Algorithms in Graphs참고 문헌 40인용 수 39

한 줄 요약

이 논문은 $\mathsf{ACC} \circ \mathsf{THR}$ 회로의 크기가 지수보다 작은 경우, 모든 $2^n$ 입력에 대해 대칭 함수를 $2^n \cdot \mathrm{poly}(n)$ 시간 내에 평가하는 새로운 알고리즘을 제시한다. 이는 가중치가 부여된 임계값 행렬 곱셈과 행렬 곱셈으로의 환원을 활용한다. 주요 기여는 만족할 수 있는 할당 수를 계산하기 위한 비트리비얼한 $2^{n - n^\varepsilon}$-시간 알고리즘으로, 이는 $\mathsf{NEXP}$에 대한 강력한 회로 하한선과 0-1 정수선형계획문제에 대한 향상된 알고리즘을 이끌어낸다.

ABSTRACT

Let $ACC \circ THR$ be the class of constant-depth circuits comprised of AND, OR, and MOD$m$ gates (for some constant $m > 1$), with a bottom layer of gates computing arbitrary linear threshold functions. This class of circuits can be seen as a "midpoint" between $ACC$ (where we know nontrivial lower bounds) and depth-two linear threshold circuits (where nontrivial lower bounds remain open). We give an algorithm for evaluating an arbitrary symmetric function of $2^{n^{o(1)}}$ $ACC \circ THR$ circuits of size $2^{n^{o(1)}}$, on all possible inputs, in $2^n \cdot poly(n)$ time. Several consequences are derived: $\bullet$ The number of satisfying assignments to an $ACC \circ THR$ circuit of subexponential size can be computed in $2^{n-n^{\varepsilon}}$ time (where $\varepsilon > 0$ depends on the depth and modulus of the circuit). $\bullet$ $NEXP$ does not have quasi-polynomial size $ACC \circ THR$ circuits, nor does $NEXP$ have quasi-polynomial size $ACC \circ SYM$ circuits. Nontrivial size lower bounds were not known even for $AND \circ OR \circ THR$ circuits. $\bullet$ Every 0-1 integer linear program with $n$ Boolean variables and $s$ linear constraints is solvable in $2^{n-Ω(n/((\log M)(\log s)^{5}))}\cdot poly(s,n,M)$ time with high probability, where $M$ upper bounds the bit complexity of the coefficients. (For example, 0-1 integer programs with weights in $[-2^{poly(n)},2^{poly(n)}]$ and $poly(n)$ constraints can be solved in $2^{n-Ω(n/\log^6 n)}$ time.) We also present an algorithm for evaluating depth-two linear threshold circuits (a.k.a., $THR \circ THR$) with exponential weights and $2^{n/24}$ size on all $2^n$ input assignments, running in $2^n \cdot poly(n)$ time. This is evidence that non-uniform lower bounds for $THR \circ THR$ are within reach.

연구 동기 및 목표

• 지수보다 작은 크기의 $\mathsf{ACC} \circ \mathsf{THR}$ 회로에서 대칭 함수를 평가하기 위한 효율적인 알고리즘을 개발한다. 이는 $\mathsf{ACC}$와 깊이 2의 임계값 회로 사이에 위치하는 클래스이다.
• 회로 분석에서의 알고리즘적 진전을 활용하여 $\mathsf{NEXP}$에 대한 비트리비얼한 회로 하한선을 확립한다.
• 제약 조건 수가 지수보다 작고 가중치가 큰 0-1 정수선형계획문을 해결하는 데 있어서 최신 기술을 향상시킨다.
• 비균일 하한선이 $\mathsf{THR} \circ \mathsf{THR}$ 회로에 대해 달성 가능하다는 증거를 제공한다.

제안 방법

• 알고리즘은 $\mathsf{ACC} \circ \mathsf{THR}$ 회로 평가 문제를 가중치가 부여된 임계값 행렬 곱셈 $M \circledast_w N$으로 환원한다.
• 가중치 목록을 정렬한 후, 같은 무게를 가진 요소들을 그룹화하는 버킷 전략을 사용하여 도메인 크기를 $\{1, \dots, 2n\}$으로 줄인다. 이는 부등식 비교를 유지한다.
• 계산을 두 부분으로 나눈다: 버킷 내 비교(직접 반복을 통해 처리)와 버킷 간 비교(행렬 곱셈을 통해 처리).
• 버킷 소속과 상대적 순서를 인코딩하는 행렬 $M'$과 $N'$을 구성하여 빠른 행렬 곱셈 알고리즘을 적용할 수 있도록 한다.
• 매개변수를 $n^{1+\delta}/s = n^{0.172}$로 설정하여, 코퍼스미스의 행렬 곱셈 알고리즘을 적용함으로써 행렬 곱셈 단계를 $n^2 \cdot \mathrm{poly}(\log n)$ 시간 내에 수행한다.
• 이 방법은 동일한 핵심 행렬 곱셈 기법을 활용하여 $\mathsf{SYM} \circ \mathsf{THR}$ 회로로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 지수보다 작은 크기의 $\mathsf{ACC} \circ \mathsf{THR}$ 회로에서 모든 $2^n$ 입력에 대해 대칭 함수를 $2^n \cdot \mathrm{poly}(n)$ 시간 내에 평가할 수 있는가?
• RQ2 이러한 알고리즘이 $\mathsf{ACC} \circ \mathsf{THR}$ 및 $\mathsf{ACC} \circ \mathsf{SYM}$ 회로 클래스에서 $\mathsf{NEXP}$에 대한 비트리비얼 하한선을 이끌 수 있는가?
• RQ3 제약 조건 수가 지수보다 작고 가중치가 큰 0-1 정수선형계획문을 해결하는 데 있어서 실행 시간을 향상시킬 수 있는가?
• RQ4 깊이 2의 임계값 회로($\mathsf{THR} \circ \mathsf{THR}$)에 대한 비균일 하한선을 증명하는 길이 열려 있는가?

주요 결과

• 크기가 $2^{n^{o(1)}}$인 $\mathsf{ACC} \circ \mathsf{THR}$ 회로의 모든 $2^n$ 할당을 $2^n \cdot \mathrm{poly}(n)$ 시간 내에 평가하는 알고리즘이 존재한다.
• 지수보다 작은 크기의 $\mathsf{ACC} \circ \mathsf{THR}$ 회로의 만족할 수 있는 할당 수는 깊이와 모듈러스에 따라 달라지는 어떤 $\varepsilon > 0$에 대해 $2^{n - n^\varepsilon}$ 시간 내에 계산할 수 있다.
• $\mathsf{NEXP}$는 준다항식 크기의 $\mathsf{ACC} \circ \mathsf{THR}$ 회로를 갖지 않으며, 이는 이 클래스에 대해 열려 있던 문제를 해결한다.
• 변수 수가 $n$이고 제약 조건 수가 $s$인 모든 0-1 정수선형계획문은 높은 확률로 $2^{n - \Omega(n / ((\log M)(\log s)^5))} \cdot \mathrm{poly}(s,n,M)$ 시간 내에 해결 가능하다.
• 계수들이 $[-2^{\mathrm{poly}(n)}, 2^{\mathrm{poly}(n)}]$ 범위에 있고 제약 조건 수가 $\mathrm{poly}(n)$일 경우, 실행 시간은 $2^{n - \Omega(n / \log^6 n)}$ 시간으로, 전수 탐색보다 향상된다.
• 지수적 가중치와 크기가 $2^{n/24}$인 깊이 2의 임계값 회로($\mathsf{THR} \circ \mathsf{THR}$)는 $2^n \cdot \mathrm{poly}(n)$ 시간 내에 평가 가능하며, 이는 비균일 하한선이 이제 달성 가능하다는 것을 시사한다.