[论文解读] Limits on representing Boolean functions by linear combinations of simple functions: thresholds, ReLUs, and low-degree polynomials

Ryan Williams|arXiv (Cornell University)|Feb 25, 2018

Machine Learning and Algorithms被引用 4

一句话总结

本文建立了线性组合中简单函数——具体为线性阈值函数、ReLU门以及有限域上的低次多项式——表示布尔函数时的新型超多项式下界。通过利用Cody Murray与作者提出的全新“易证伪证”引理及先进的代数技术，证明了NTIME[n^α(n)]和E^NP中的某些函数需要指数或超多项式数量的此类组件，从而推进了电路复杂性与神经网络表达能力极限的研究。

ABSTRACT

We consider the problem of representing Boolean functions exactly by "sparse" linear combinations (over $\\mathbb{R}$) of functions from some "simple" class ${\\cal C}$. In particular, given ${\\cal C}$ we are interested in finding low-complexity functions lacking sparse representations. When ${\\cal C}$ is the set of PARITY functions or the set of conjunctions, this sort of problem has a well-understood answer, the problem becomes interesting when ${\\cal C}$ is "overcomplete" and the set of functions is not linearly independent. We focus on the cases where ${\\cal C}$ is the set of linear threshold functions, the set of rectified linear units (ReLUs), and the set of low-degree polynomials over a finite field, all of which are well-studied in different contexts. We provide generic tools for proving lower bounds on representations of this kind. Applying these, we give several new lower bounds for "semi-explicit" Boolean functions. For example, we show there are functions in nondeterministic quasi-polynomial time that require super-polynomial size: $\\bullet$ Depth-two neural networks with sign activation function, a special case of depth-two threshold circuit lower bounds. $\\bullet$ Depth-two neural networks with ReLU activation function. $\\bullet$ $\\mathbb{R}$-linear combinations of $O(1)$-degree $\\mathbb{F}_p$-polynomials, for every prime $p$ (related to problems regarding Higher-Order "Uncertainty Principles"). We also obtain a function in $E^{NP}$ requiring $2^{\\Omega(n)}$ linear combinations. $\\bullet$ $\\mathbb{R}$-linear combinations of $ACC \\circ THR$ circuits of polynomial size (further generalizing the recent lower bounds of Murray and the author). (The above is a shortened abstract. For the full abstract, see the paper.)

研究动机与目标

• 建立表示布尔函数所需的简单函数（阈值、ReLU、低次多项式）线性组合的强下界。
• 解决关于深度二神经网络与阈值电路表达能力极限的长期开放问题。
• 将基于相关性的下界技术推广至具有任意实数权重的设置，克服了以往在权重大小方面的限制。
• 为电路复杂性中的下界证明提供新工具，特别是针对NP和E^NP中的函数。
• 探究表示复杂性与傅里叶分析中高阶不确定性原理之间的联系。

提出的方法

• 利用Cody Murray与作者提出的全新“易证伪证”引理，识别出表示问题中的困难实例。
• 应用涉及有限域上多项式插值与模数放大的代数技术，以模拟布尔函数的计数。
• 使用构造的多项式 $ Q $，即 $ \sum P_{\delta n}(1 - q(x)^{p-1}) $，来计算给定多项式 $ q $ 在 $ \mathbb{F}_p $ 上的根数。
• 利用快速多项式求值算法（定理 2.4），在 $ 2^{n - \varepsilon n} \cdot \text{poly}(n) $ 时间内计算所有 $ 2^{n - \delta n} $ 赋值下的 $ Q $。
• 将和积问题约化为 $ Q $ 的求值，从而为固定次数的多项式提供亚指数时间算法。
• 通过证明：若某函数具有稀疏表示，则会与和积问题的时间复杂度矛盾，从而将这些算法转化为下界。

实验结果

研究问题

• RQ1 是否可证明NTIME[n^α(n)]中的函数需要超多项式数量的线性阈值函数才能实现精确表示？
• RQ2 ReLU-based深度二神经网络是否需要超多项式规模才能表示NTIME[n^α(n)]中的某些函数？
• RQ3 能否为在有限域上将AND或其它NP函数表示为低次多项式的线性组合建立下界？
• RQ4 本文的技术能否解决关于二次多项式的常数次数假设？
• RQ5 表示AND函数所需的二次 $ \mathbb{F}_2 $-多项式的线性组合的最小规模是多少？

主要发现

• 对于满足 $ n^{\alpha(n)} $ 为时间可构造的无界 $ \alpha(n) $，NTIME[n^α(n)]中的函数需要超多项式数量的线性阈值函数才能实现精确表示。
• NTIME[n^α(n)]中的函数即使使用任意实数权重，也需要超多项式数量的ReLU门才能实现精确表示。
• NTIME[n^{\text{poly}(\log n)}]中的函数需要超多项式数量的大小为多项式的ACC∘THR电路才能实现精确表示。
• E^NP中的某个函数需要大小为 $ 2^{\Omega(n)} $ 的线性组合来表示阈值函数，从而确立了指数下界。
• 对于每个固定的次数 $ d $ 和素数 $ p $，存在 $ \varepsilon > 0 $，使得MODp∘ANDd电路的和积问题可在 $ 2^{n - \varepsilon n} \cdot \text{poly}(n) $ 时间内求解，意味着存在亚指数时间算法。
• 本文首次为NP函数在阈值、ReLU以及有限域上的低次多项式表示类中提供了固定多项式下界。