[論文レビュー] Hardness Amplification and the Approximate Degree of Constant-Depth Circuits

Mark Bun, Justin Thaler|arXiv (Cornell University)|Nov 7, 2013

Low-power high-performance VLSI design被引用数 3

ひとこと要約

本稿は、定数深さブール回路における新たな硬度増幅技術を導入し、ある回路が片側の意味で定数誤差内に低次の多項式で近似できない場合、それを互いに素な複数のコピーに分解してORで結合することで、多項式近似の誤差閾値が著しく上昇することを示している。主な結果として、任意の次数dの多項式が、誤差1 - exp(-~Ω(nd^{-3/2}))より良い近似を達成できない明示的な深さ3回路Fが得られ、AC⁰回路における不一致としきい値重みの新たな境界が得られ、AND-OR木の近似次数が多項対数要因の範囲で解明された。

ABSTRACT

We establish a generic form of hardness amplification for the approximability of constant-depth Boolean circuits by polynomials. Specifically, we show that if a Boolean circuit cannot be pointwise approximated by low-degree polynomials to within constant error in a certain one-sided sense, then an OR of disjoint copies of that circuit cannot be pointwise approximated even with very high error. As our main application, we show that for every sequence of degrees $d(n)$, there is an explicit depth-three circuit $F: \{-1,1\}^n o \{-1,1\}$ of polynomial-size such that any degree-$d$ polynomial cannot pointwise approximate $F$ to error better than $1-\exp\left(- ildeΩ(nd^{-3/2}) ight)$. As a consequence of our main result, we obtain an $\exp\left(- ildeΩ(n^{2/5}) ight)$ upper bound on the the discrepancy of a function in AC$^0$, and an $\exp\left( ildeΩ(n^{2/5}) ight)$ lower bound on the threshold weight of AC$^0$, improving over the previous best results of $\exp\left(-Ω(n^{1/3}) ight)$ and $\exp\left(Ω(n^{1/3}) ight)$ respectively. Our techniques also yield a new lower bound of $Ω\left(n^{1/2}/\log^{(d-2)/2}(n) ight)$ on the approximate degree of the AND-OR tree of depth $d$, which is tight up to polylogarithmic factors for any constant $d$, as well as new bounds for read-once DNF formulas. In turn, these results imply new lower bounds on the communication and circuit complexity of these classes, and demonstrate strong limitations on existing PAC learning algorithms.

研究の動機と目的

• 定数深さ回路の点ごとの近似を低次の多項式によって行うための汎用的な硬度増幅フレームワークの開発。
• 特に深さ3回路とAND-OR木について、AC⁰回路の近似次数に対するより緊密な下界の確立。
• 学習理論と通信複雑性の中心的役割を果たす、AC⁰における不一致としきい値重みといった基本的複雑性測度の境界の改善。
• 特に深さ3回路と読み取り一回のDNFに対して、既存のPAC学習アルゴリズムの強い制限を示すこと。
• 任意の定数深さについて、定数深さAND-OR木の近似次数を多項対数要因の範囲で解明すること。

提案手法

• 著者らは、近似次数としきい値次数の間の補助的複雑性測度として、片側近似次数の概念を導入し、f^{-1}(1)とf^{-1}(-1)の入力に対して非対称な誤差処理に焦点を当てる。
• ベース回路fの片側近似不能性を示す双対多項式を構築し、それを用いてfの互いに素なコピーのORの双対多項式を構築することで、指数的に高い誤差下でも強力な近似不能性を証明する。
• 硬度増幅技術は線形計画法の双対性を利用し、双対多項式を増幅回路の近似不能性の証明として用いる。
• この手法を特定の深さ3回路Fの構成に適用し、任意の次数dの多項式が達成可能な誤差の下限として1 - exp(-~Ω(nd^{-3/2}))を得る。
• これらの境界を用いて、既知の近似次数と不一致・しきい値重みの関係を用い、AC⁰における不一致としきい値重みの新たな上下界を導出する。
• このアプローチにより、既知の基本関数に増幅フレームワークを適用することで、AND-OR木と読み取り一回のDNFの近似次数に対する新たな下界も得られる。

実験結果

リサーチクエスチョン

• RQ1 定数深さ回路が低次の多項式によって片側近似不能である場合、それが互いに素なコピーの集合のORによって構成されるより大きな回路において、強力な近似不能性に拡大可能か？
• RQ2 AC⁰における回路サイズ、深さ、および低次の多項式近似が達成可能な誤差の間の最適なトレードオフは何か？
• RQ3 近似次数の改善された境界は、AC⁰回路における不一致としきい値重みのより緊密な境界にどのように翻訳されるか？
• RQ4 この硬度増幅技術により、定数深さAND-OR木の近似次数が多項対数要因の範囲で解明可能か？
• RQ5 これらの境界は、特に深さ3回路と読み取り一回のDNFについて、PAC学習アルゴリズムの効率にどのような影響を及えるか？

主な発見

• 任意の次数dについて、多項式サイズの明示的な深さ3回路F: {-1,1}^n → {-1,1}が存在し、任意の次数dの多項式がFを誤差1 - exp(-~Ω(nd^{-3/2}))より良く近似することはできない。
• 本稿では、AC⁰関数の不一致に対して新しい上界exp(-~Ω(n^{2/5}))を確立し、以前のexp(-Ω(n^{1/3}))の境界を改善した。
• AC⁰のしきい値重みに対して新しい下界exp(~Ω(n^{2/5}))を証明し、以前のexp(Ω(n^{1/3}))の結果を改善した。
• 定数深さdのAND-OR木の近似次数がΩ(n^{1/2}/log^{(d-2)/2}(n))であることが示され、任意の定数dについて多項対数要因の範囲でタイトな境界であることが判明した。
• 読み取り一回のDNF式の近似次数に対する新たな下界が確立され、多項式しきい値関数に依存する学習アルゴリズムの制限が示された。
• これらの結果は、PAC学習アルゴリズムに強い制限をもたらす：任意の特徴集合上で、多項式しきい値関数を用いたブースティングに基づくアプローチでは、多項式サイズの深さ3回路を学習するためのexp(~O(n^{2/5}))-時間アルゴリズムは存在しない。