[논문 리뷰] Hardness Amplification and the Approximate Degree of Constant-Depth Circuits

Mark Bun, Justin Thaler|arXiv (Cornell University)|2013. 11. 07.

Low-power high-performance VLSI design인용 수 3

한 줄 요약

이 논문은 상수 깊이 부울 회로에 대한 새로운 디스크리미네이션 강화 기법을 제안한다. 만약 어떤 회로가 한쪽 방향 오차 기준으로 상수 오차 내에서 저차수 다항식으로 근사될 수 없다면, 이를 서로소인 복수의 복사본으로 조합하여 OR 연산을 적용하면 다항식 근사의 오차 한계가 크게 증가함을 보인다. 주요 결과는 임의의 차수 $d$ 다항식이 오차를 $1 - \exp(-\tilde{\Omega}(nd^{-3/2}))$ 이하로 줄일 수 없는 명시적인 깊이 3 회로 $F$ 가 존재함을 보여주며, 이는 AC⁰ 회로의 디스크리미네이션 및 임계 무게에 대한 향상된 경계를 이끌어내고, 상수 깊이 AND-OR 트리의 근사 차수를 다항로그 인자까지 정확히 규명한다.

ABSTRACT

We establish a generic form of hardness amplification for the approximability of constant-depth Boolean circuits by polynomials. Specifically, we show that if a Boolean circuit cannot be pointwise approximated by low-degree polynomials to within constant error in a certain one-sided sense, then an OR of disjoint copies of that circuit cannot be pointwise approximated even with very high error. As our main application, we show that for every sequence of degrees $d(n)$, there is an explicit depth-three circuit $F: \{-1,1\}^n o \{-1,1\}$ of polynomial-size such that any degree-$d$ polynomial cannot pointwise approximate $F$ to error better than $1-\exp\left(- ildeΩ(nd^{-3/2}) ight)$. As a consequence of our main result, we obtain an $\exp\left(- ildeΩ(n^{2/5}) ight)$ upper bound on the the discrepancy of a function in AC$^0$, and an $\exp\left( ildeΩ(n^{2/5}) ight)$ lower bound on the threshold weight of AC$^0$, improving over the previous best results of $\exp\left(-Ω(n^{1/3}) ight)$ and $\exp\left(Ω(n^{1/3}) ight)$ respectively. Our techniques also yield a new lower bound of $Ω\left(n^{1/2}/\log^{(d-2)/2}(n) ight)$ on the approximate degree of the AND-OR tree of depth $d$, which is tight up to polylogarithmic factors for any constant $d$, as well as new bounds for read-once DNF formulas. In turn, these results imply new lower bounds on the communication and circuit complexity of these classes, and demonstrate strong limitations on existing PAC learning algorithms.

연구 동기 및 목표

• 상수 깊이 회로의 점별 근사에 대해 저차수 다항식을 사용하는 일반적인 디스크리미네이션 강화 프레임워크를 개발하는 것.
• 특히 깊이 3 회로와 AND-OR 트리에 대해 AC⁰ 회로의 근사 차수에 대한 더 강력한 하한을 확립하는 것.
• 학습 이론과 통신 복잡도에 핵심적인 영향을 미치는 기본적인 복잡도 측정치인 디스크리미네이션 및 임계 무게에 대한 경계를 향상시키는 것.
• 특히 깊이 3 회로와 독서 한 번 DNF에 대해 기존의 PAC 학습 알고리즘의 강한 한계를 보여주는 것.
• 임의의 상수 깊이에 대해 상수 깊이 AND-OR 트리의 근사 차수를 다항로그 인자까지 정확히 규명하는 것.

제안 방법

• 저자들은 근사 차수와 임계 차수 사이의 중간 복잡도 측정치로 한쪽 방향 근사 차수를 도입하며, $f^{-1}(1)$ 과 $f^{-1}(-1)$ 입력에 대해 비대칭적인 오차 처리에 초점을 맞춘다.
• 기본 회로 $f$ 에 대해 상수 오차 내에서의 한쪽 방향 근사 불가능성을 보여주는 이중 다항식을 구성한 후, 이를 사용해 $f$ 의 서로소 복수 복사본의 OR에 대한 이중 다항식을 구축하며, 심지어 지수적으로 높은 오차 조건에서도 강력한 근사 불가능성을 증명한다.
• 디스크리미네이션 강화 기법은 선형 프로그래밍 이중성에 기반하며, 이중 다항식을 강화된 회로의 근사 불가능성 증명을 위한 증명서로 사용한다.
• 이 방법은 특정 깊이 3 회로 $F$ 에 적용되어 임의의 차수 $d$ 다항식이 달성할 수 있는 최소 오차가 $1 - \exp(-\tilde{\Omega}(nd^{-3/2}))$ 이하임을 유도한다.
• 이 경계들은 근사 차수와 디스크리미네이션 및 임계 무게 사이의 알려진 관계를 이용해 AC⁰에 대한 디스크리미네이션 및 임계 무게의 새로운 상한과 하한을 도출하는 데 사용된다.
• 이러한 접근은 기존의 기본 함수에 이 기법을 적용하여 AND-OR 트리 및 독서 한 번 DNF의 근사 차수에 대한 새로운 하한을 도출한다.

실험 결과

연구 질문

• RQ1 상수 깊이 회로가 저차수 다항식으로 한쪽 방향 근사 불가능할 경우, 이를 서로소 복사본으로 구성된 더 큰 회로로 강화하여 강력한 근사 불가능성을 확보할 수 있는가?
• RQ2 AC⁰에서 회로 크기, 깊이, 저차수 다항식 근사의 오차 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 근사 차수에 대한 향상된 경계는 AC⁰ 회로의 디스크리미네이션 및 임계 무게에 대해 어떻게 더 강력한 경계로 이어지는가?
• RQ4 이 디스크리미네이션 강화 기법은 상수 깊이 AND-OR 트리의 근사 차수를 다항로그 인자까지 정확히 규명할 수 있는가?
• RQ5 이 경계들은 특히 깊이 3 회로와 독서 한 번 DNF에 대해 학습 알고리즘의 효율성에 어떤 영향을 미치는가?

주요 결과

• 임의의 차수 $d$ 에 대해, 다항식 크기의 명시적인 깊이 3 회로 $F:\{-1,1\}^n \to \{-1,1\}$ 이 존재하며, 임의의 차수 $d$ 다항식이 $F$ 를 오차 최소 $1 - \exp(-\tilde{\Omega}(nd^{-3/2}))$ 이하로만 근사할 수 있음을 보여준다.
• 논문은 AC⁰에 속한 함수의 디스크리미네이션에 대해 새로운 상한 $\exp(-\tilde{\Omega}(n^{2/5}))$ 를 확립하며, 이는 이전의 $\exp(-\Omega(n^{1/3}))$ 경계를 향상시킨다.
• AC⁰에 대해 새로운 하한 $\exp(\tilde{\Omega}(n^{2/5}))$ 를 임계 무게에 대해 증명하며, 이는 이전의 $\exp(\Omega(n^{1/3}))$ 결과를 향상시킨다.
• 상수 깊이 $d$ 의 AND-OR 트리의 근사 차수는 $\Omega(n^{1/2}/\log^{(d-2)/2}(n))$ 이며, 임의의 상수 $d$ 에 대해 다항로그 인자까지 정확한 하한이다.
• 독서 한 번 DNF 공식의 근사 차수에 대해 새로운 하한을 확립하며, 다항식 임계 함수에 의존하는 학습 알고리즘의 한계를 보여준다.
• 결과는 강력한 제약 조건을 암시한다: 어떤 $\exp(\tilde{O}(n^{2/5}))$-시간 알고리즘도 임의의 특징 집합에서 다항식 크기의 깊이 3 회로를 부스팅 기반 접근법과 다항식 임계 함수를 사용해 학습할 수 없다.