[論文レビュー] Limits on representing Boolean functions by linear combinations of simple functions: thresholds, ReLUs, and low-degree polynomials

Ryan Williams|arXiv (Cornell University)|Feb 25, 2018

Machine Learning and Algorithms被引用数 4

ひとこと要約

この論文は、ブール関数を表現するための線形結合のスパarsityに関する、新たな超多項式的下界を確立している。具体的には、線形しきい値関数、ReLUゲート、有限体上の低次多項式という単純な関数の線形結合について、その下界を示している。新規の「簡単な証拠」補題と高度な代数的技法を活用することで、NTIME[n^α(n)]およびE^NPに属する特定の関数が、指数的または超多項式的に多くのこのような構成要素を必要とすることが証明され、回路複雑性およびニューラルネットワークの表現力の限界に関する進展が得られた。

ABSTRACT

We consider the problem of representing Boolean functions exactly by "sparse" linear combinations (over $\\mathbb{R}$) of functions from some "simple" class ${\\cal C}$. In particular, given ${\\cal C}$ we are interested in finding low-complexity functions lacking sparse representations. When ${\\cal C}$ is the set of PARITY functions or the set of conjunctions, this sort of problem has a well-understood answer, the problem becomes interesting when ${\\cal C}$ is "overcomplete" and the set of functions is not linearly independent. We focus on the cases where ${\\cal C}$ is the set of linear threshold functions, the set of rectified linear units (ReLUs), and the set of low-degree polynomials over a finite field, all of which are well-studied in different contexts. We provide generic tools for proving lower bounds on representations of this kind. Applying these, we give several new lower bounds for "semi-explicit" Boolean functions. For example, we show there are functions in nondeterministic quasi-polynomial time that require super-polynomial size: $\\bullet$ Depth-two neural networks with sign activation function, a special case of depth-two threshold circuit lower bounds. $\\bullet$ Depth-two neural networks with ReLU activation function. $\\bullet$ $\\mathbb{R}$-linear combinations of $O(1)$-degree $\\mathbb{F}_p$-polynomials, for every prime $p$ (related to problems regarding Higher-Order "Uncertainty Principles"). We also obtain a function in $E^{NP}$ requiring $2^{\\Omega(n)}$ linear combinations. $\\bullet$ $\\mathbb{R}$-linear combinations of $ACC \\circ THR$ circuits of polynomial size (further generalizing the recent lower bounds of Murray and the author). (The above is a shortened abstract. For the full abstract, see the paper.)

研究の動機と目的

• 線形しきい値関数、ReLU、低次多項式といった単純な関数の線形結合によってブール関数を表現するのに必要なスパarsityに対する強い下界を確立すること。
• 深さ2のニューラルネットワークおよびしきい値回路の表現力の限界に関する長年の未解決問題を解明すること。
• 相関に基づく下界技法を、重みの大きさに制限のない任意の実数重みを持つ設定へと拡張すること。
• 特にNPおよびE^NPに属する関数に対する回路複雑性における下界を証明するための新規なツールを提供すること。
• 表現複雑性とフーリエ解析における高階の不確実性原理との関係を調査すること。

提案手法

• Cody Murrayと著者による新規の「簡単な証拠」補題を活用し、表現のための困難なインスタンスを同定する。
• 有限体上での多項式補間およびモジュラス増幅技術を用いて、ブール関数のカウンティングをシミュレートする代数的技法を適用する。
• 与えられた多項式 $ q $ の根の数を数えるために、多項式 $ Q $ を $ P_{\delta n}(1 - q(x)^{p-1}) $ の和として構成する。
• 高速な多項式評価アルゴリズム（定理 2.4）を用い、$ 2^{n - \delta n} $ 個の割り当てすべてに対して $ Q $ を $ 2^{n - \varepsilon n} \cdot \text{poly}(n) $ 時間で計算する。
• Sum-Product問題を $ Q $ の評価に還元することで、固定次数の多項式に対して指数的でない時間で解けるアルゴリズムを可能にする。
• これらのアルゴリズムを下界に翻訳するため、関数がスパースな表現を持てば、Sum-Product問題の時間計算量と矛盾することを示す。

実験結果

リサーチクエスチョン

• RQ1 時間構成可能である $ n^\alpha(n) $ を満たす未定義の $ \alpha(n) $ に対して、NTIME[n^\alpha(n)] に属する関数が、正確に表現するためには超多項式的に多くの線形しきい値関数を必要とするか？
• RQ2 ReLUベースの深さ2のニューラルネットワークは、NTIME[n^\alpha(n)] に属する特定の関数を表現するため、超多項式的なサイズを必要とするか？
• RQ3 有限体上の低次多項式の線形結合としてAND関数や他のNP関数を表現するための下界を確立できるか？
• RQ4 本論文の技法により、次数2の多項式に対する定数次数仮説を解消できるか？
• RQ5 AND関数を表すために、$ \mathbb{F}_2 $ 上の二次多項式の線形結合に必要な最小サイズは何か？

主な発見

• 時間構成可能である $ n^\alpha(n) $ を満たす未定義の $ \alpha(n) $ に対して、NTIME[n^\alpha(n)] に属する関数は、正確に表現するためには超多項式的に多くの線形しきい値関数を必要とする。
• NTIME[n^\alpha(n)] に属する関数は、任意の実数重みを許容しても、正確に表現するためには超多項式的に多くのReLUゲートを必要とする。
• NTIME[n^{\text{poly}(\log n)}] に属する関数は、多項式サイズの ACC∘THR 回路の線形結合を用いて正確に表現するため、超多項式的に多くの構成要素を必要とする。
• E^NP に属する関数は、2^Ω(n) のサイズを要する線形結合のしきい値関数で表現可能であり、指数的下界が確立された。
• 任意の固定次数 $ d $ および素数 $ p $ に対して、ある $ \varepsilon > 0 $ が存在し、MODp∘ANDd 回路のSum-Product問題は $ 2^{n - \varepsilon n} \cdot \text{poly}(n) $ 時間で解ける。これは、指数的でない時間で解けるアルゴリズムを示唆する。
• 本論文は、NP関数について、しきい値関数、ReLU、有限体上の低次多項式の表現クラスにおいて、初めての固定多項式下界を提供した。