[论文解读] Hardness Amplification and the Approximate Degree of Constant-Depth Circuits

Mark Bun, Justin Thaler|arXiv (Cornell University)|Nov 7, 2013

Low-power high-performance VLSI design被引用 3

一句话总结

本文提出了一种常数深度布尔电路的新型硬度放大技术，表明若某个电路在单边意义下无法在常数误差范围内被低次多项式近似，则通过按位或（OR）组合多个不相交的副本可显著提高多项式近似的误差阈值。关键结果是构造出一个显式的深度三电路，使得任何次数为 $d$ 的多项式都无法将其近似到优于 $1 - \exp(-\tilde{\Omega}(nd^{-3/2}))$ 的误差。该结果改进了 AC⁰ 电路在歧离度（discrepancy）和阈值权重（threshold weight）方面的界，并在多对数因子范围内确定了常数深度 AND-OR 树的近似度。

ABSTRACT

We establish a generic form of hardness amplification for the approximability of constant-depth Boolean circuits by polynomials. Specifically, we show that if a Boolean circuit cannot be pointwise approximated by low-degree polynomials to within constant error in a certain one-sided sense, then an OR of disjoint copies of that circuit cannot be pointwise approximated even with very high error. As our main application, we show that for every sequence of degrees $d(n)$, there is an explicit depth-three circuit $F: \{-1,1\}^n o \{-1,1\}$ of polynomial-size such that any degree-$d$ polynomial cannot pointwise approximate $F$ to error better than $1-\exp\left(- ildeΩ(nd^{-3/2}) ight)$. As a consequence of our main result, we obtain an $\exp\left(- ildeΩ(n^{2/5}) ight)$ upper bound on the the discrepancy of a function in AC$^0$, and an $\exp\left( ildeΩ(n^{2/5}) ight)$ lower bound on the threshold weight of AC$^0$, improving over the previous best results of $\exp\left(-Ω(n^{1/3}) ight)$ and $\exp\left(Ω(n^{1/3}) ight)$ respectively. Our techniques also yield a new lower bound of $Ω\left(n^{1/2}/\log^{(d-2)/2}(n) ight)$ on the approximate degree of the AND-OR tree of depth $d$, which is tight up to polylogarithmic factors for any constant $d$, as well as new bounds for read-once DNF formulas. In turn, these results imply new lower bounds on the communication and circuit complexity of these classes, and demonstrate strong limitations on existing PAC learning algorithms.

研究动机与目标

• 开发一种常数深度电路点态近似为低次多项式的通用硬度放大框架。
• 为 AC⁰ 电路（尤其是深度三电路和 AND-OR 树）建立更紧的近似度下界。
• 改进 AC⁰ 中歧离度与阈值权重等基本复杂性度量的界，这些度量在学习理论与通信复杂性中具有核心地位。
• 揭示现有 PAC 学习算法的强限制，特别是针对深度三电路与一次读取 DNF。
• 在多对数因子范围内确定常数深度 AND-OR 树的近似度，为任意常数深度提供紧致界。

提出的方法

• 作者引入了单边近似度作为近似度与阈值度之间的中间复杂性度量，聚焦于对 $f^{-1}(1)$ 和 $f^{-1}(-1)$ 中输入的非对称误差处理。
• 他们为基电路 $f$ 构造了一个对偶多项式，以证明其在常数误差范围内的单边不可近似性，随后利用该多项式构建了 $f$ 的不相交副本的 OR 电路的对偶多项式，证明即使在指数级高误差下仍存在强不可近似性。
• 该硬度放大技术利用线性规划对偶性，将对偶多项式作为放大后电路不可近似性的证书。
• 该方法被应用于一个特定的深度三电路 $F$ 的构造，推导出任何次数为 $d$ 的多项式所能达到的误差下界为 $1 - \exp(-\tilde{\Omega}(nd^{-3/2}))$。
• 随后利用这些界，通过已知的歧离度与阈值权重和近似度之间的关系，推导出 AC⁰ 中歧离度与阈值权重的新上下界。
• 该方法还通过对已知基函数应用放大框架，为 AND-OR 树与一次读取 DNF 的近似度提供了新下界。

实验结果

研究问题

• RQ1 能否将常数深度电路对低次多项式的单边不可近似性放大，以获得由不相交副本组成的更大电路的强不可近似性？
• RQ2 在 AC⁰ 中，电路规模、深度与低次多项式近似所能达到的误差之间，最优权衡为何？
• RQ3 近似度界改进后，如何转化为 AC⁰ 电路歧离度与阈值权重的更紧界？
• RQ4 该硬度放大技术能否在多对数因子范围内确定常数深度 AND-OR 树的近似度？
• RQ5 这些界对 PAC 学习算法的效率有何影响，特别是对深度三电路与一次读取 DNF？

主要发现

• 对于任意次数 $d$，存在一个显式的深度三电路 $F:\{-1,1\}^n \to \{-1,1\}$，其规模为多项式，使得任何次数为 $d$ 的多项式对 $F$ 的近似误差至好为 $1 - \exp(-\tilde{\Omega}(nd^{-3/2}))$。
• 本文建立了 AC⁰ 中函数歧离度的新上界 $\exp(-\tilde{\Omega}(n^{2/5}))$，优于先前的 $\exp(-\Omega(n^{1/3}))$。
• 证明了 AC⁰ 中阈值权重的新下界 $\exp(\tilde{\Omega}(n^{2/5}))$，优于先前的 $\exp(\Omega(n^{1/3}))$。
• AND-OR 树在常数深度 $d$ 下的近似度被证明为 $\Omega(n^{1/2}/\log^{(d-2)/2}(n))$，对任意常数 $d$ 在多对数因子范围内是紧致的。
• 为一次读取 DNF 公式的近似度建立了新下界，揭示了依赖多项式阈值函数的学习算法的局限性。
• 结果意味着对 PAC 学习算法存在强限制：任何 $\exp(\tilde{O}(n^{2/5}))$ 时间的算法都无法使用基于提升的策略与多项式阈值函数来学习多项式规模的深度三电路，即使在任意特征集上也无效。