[论文解读] A regularity lemma, and low-weight approximators, for low-degree polynomial threshold functions

Ilias Diakonikolas, Rocco A. Servedio+2 more|arXiv (Cornell University)|Sep 25, 2009

Complexity and Algorithms in Graphs参考文献 28被引用 4

一句话总结

本文提出了一类针对布尔立方体上度为d的多项式阈值函数（PTFs）的正则性引理，表明任意此类PTF均可被分解为一个常数深度的决策树，其中大多数叶节点对应于接近正则（即变量影响均衡）的PTF。利用该结构，作者证明了每个度为d的PTF均可被一个常数度的PTF ǫ-近似，且其整数权重总和为O(nd)，该结果在对数因子范围内达到最优——解决了复杂性理论与学习理论中关于PTF低权重近似的关键问题。

ABSTRACT

We give a "regularity lemma" for degree-d polynomial threshold functions (PTFs) over the Boolean cube {-1,1}^n. This result shows that every degree-d PTF can be decomposed into a constant number of subfunctions such that almost all of the subfunctions are close to being regular PTFs. Here a "regular PTF is a PTF sign(p(x)) where the influence of each variable on the polynomial p(x) is a small fraction of the total influence of p. As an application of this regularity lemma, we prove that for any constants d \geq 1, \eps \geq 0, every degree-d PTF over n variables has can be approximated to accuracy eps by a constant-degree PTF that has integer weights of total magnitude O(n^d). This weight bound is shown to be optimal up to constant factors.

研究动机与目标

• 通过正则性引理，为低度多项式阈值函数（PTFs）建立结构分解。
• 证明任意度为d的PTF可被一个常数度PTF以整数权重总和O(nd)近似。
• 证明该权重界在对数因子范围内为最优，即使允许任意度近似器亦成立。
• 提供一种通用工具，将一般PTF的问题简化为更易分析的正则PTF问题，因其具有类似伪随机的性质。
• 将先前关于线性阈值函数（LTFs）的低权重近似结果推广至更高次PTFs。

提出的方法

• 引入多项式τ-正则性的概念，其中每个变量的影响不超过总影响的τ分数。
• 证明一个正则性引理，将任意度为d的PTF分解为深度为depth(d, τ) = (1/τ) · (d log(1/τ))^{O(d)} 的决策树，使得大多数叶节点对应于与τ-正则多项式τ接近的PTF。
• 利用不变性原理和正则多项式的反集中不等式，控制近似中的误差概率。
• 通过组合良好叶节点上的正则化PTF和坏叶节点上的常数函数，使用多重线性指示多项式Pρ构造低权重近似器，最终定义PTF。
• 通过柯西-施瓦茨不等式和每个Pρq(ρ)项的ℓ2范数有界性，控制近似多项式Q的总权重。
• 通过显式构造建立紧致下界，表明即使允许任意度近似器，Ωd(nd/log n)和Ωd(nd−1)的权重对ǫ-近似是必要的。

实验结果

研究问题

• RQ1 每个度为d的PTF是否可被分解为少量子函数，且这些子函数接近正则PTF？
• RQ2 是否存在一个常数度PTF，其整数权重总和为O(nd)，可对任意度为d的PTF实现ǫ-近似？
• RQ3 O(nd)的权重界能否改进，或其在对数因子范围内已为最优？
• RQ4 即使允许任意度近似PTF，近似度为d的PTF所需的最小权重是多少？
• RQ5 如何利用变量影响的正则性来简化PTF的分析与近似？

主要发现

• 建立了正则性引理：任意度为d的PTF可被分解为深度为(1/τ) · (d log(1/τ))^{O(d)} 的决策树，使得以至少1−τ的概率，随机输入会到达一个PTF与τ-正则PTFτ接近的叶节点。
• 每个n个变量上的度为d的PTF均存在一个常数度PTF ǫ-近似器，其整数权重总和为O(nd)，该结果在对数因子范围内达到最优。
• 证明了O(nd)的权重界为紧致：存在度为d的PTF，其常数度PTF ǫ-近似所需权重为Ωd(nd/log n)。
• 即使允许任意度近似器，某些度为d的PTF仍需Ωd(nd−1)的权重才能实现ǫ-近似，表明改进空间有限。
• 证明技术依赖于正则性分解与反集中不等式及ℓ2范数估计的结合，以控制近似误差。
• 该结果将先前关于线性阈值函数（LTFs）的低权重近似研究推广至更高次PTFs，统一了结构与逼近理论的洞见。