[论文解读] Average sensitivity and noise sensitivity of polynomial threshold functions

Ilias Diakonikolas, Prasad Raghavendra+2 more|ArXiv.org|Sep 28, 2009

Machine Learning and Algorithms参考文献 26被引用 9

一句话总结

本文首次建立了在布尔超立方体和高斯分布上，度数为 $d$ 的多项式阈值函数（PTFs）的平均敏感性和噪声敏感性的非平凡上界。通过利用尾部界限、反浓度不等式，并将临界指数方法扩展至一般 PTFs——结合不变性原理，证明了任意度数为 $d$ 的 PTF 的平均敏感性为 $O(d\sqrt{n})$，解决了 Gotsman 和 Linial 长久以来的猜想，并通过 $L_1$ 多项式回归实现了高效的一般学习。

ABSTRACT

We give the first non-trivial upper bounds on the average sensitivity and noise sensitivity of degree-$d$ polynomial threshold functions (PTFs). These bounds hold both for PTFs over the Boolean hypercube and for PTFs over $\R^n$ under the standard $n$-dimensional Gaussian distribution. Our bound on the Boolean average sensitivity of PTFs represents progress towards the resolution of a conjecture of Gotsman and Linial \cite{GL:94}, which states that the symmetric function slicing the middle $d$ layers of the Boolean hypercube has the highest average sensitivity of all degree-$d$ PTFs. Via the $L_1$ polynomial regression algorithm of Kalai et al. \cite{KKMS:08}, our bounds on Gaussian and Boolean noise sensitivity yield polynomial-time agnostic learning algorithms for the broad class of constant-degree PTFs under these input distributions. The main ingredients used to obtain our bounds on both average and noise sensitivity of PTFs in the Gaussian setting are tail bounds and anti-concentration bounds on low-degree polynomials in Gaussian random variables \cite{Janson:97,CW:01}. To obtain our bound on the Boolean average sensitivity of PTFs, we generalize the ``critical-index'' machinery of \cite{Servedio:07cc} (which in that work applies to halfspaces, i.e. degree-1 PTFs) to general PTFs. Together with the "invariance principle" of \cite{MOO:05}, this lets us extend our techniques from the Gaussian setting to the Boolean setting. Our bound on Boolean noise sensitivity is achieved via a simple reduction from upper bounds on average sensitivity of Boolean PTFs to corresponding bounds on noise sensitivity.

研究动机与目标

• 解决 Gotsman 和 Linial 关于布尔超立方体上度数为 $d$ 的 PTF 的最大平均敏感性的猜想。
• 在布尔和高斯两种设定下，首次为平均敏感性和噪声敏感性提供非平凡上界。
• 将临界指数方法从半空间（度数为 1 的 PTF）推广至一般的多项式阈值函数。
• 通过归约，在布尔设定下建立平均敏感性与噪声敏感性之间的联系。
• 通过 $L_1$ 多项式回归实现常数度数 PTF 的多项式时间泛化学习。

提出的方法

• 通过广义的临界指数概念，将 Seroussi (2007) 的临界指数工具从度数为 1 的 PTF 扩展至一般的度数为 $d$ 的 PTF。
• 在高斯设定下，应用低阶多项式在高斯随机变量上的尾部界限与反浓度不等式（来自 Janakiraman, 1997；Chen & Wang, 2001），以界定噪声敏感性。
• 利用 Mossel、O'Donnell 和 Oleszkiewicz (2005) 的不变性原理，将高斯设定下的界限转移到布尔超立方体设定。
• 在布尔域中通过归约将平均敏感性与噪声敏感性关联，证明 $\mathrm{NS}_{1/n}(f) \geq \Omega(\mathrm{AS}(f)/n)$。
• 构造一系列布尔 PTF $h_k$，通过 $k$ 个比特的归一化和逼近给定的高斯 PTF $f$，利用中心极限定理。
• 证明当 $k \to \infty$ 时，$h_k$ 的噪声敏感性收敛于 $f$ 的高斯噪声敏感性，从而建立 $\mathrm{NS}(\epsilon,d) \geq \mathrm{GNS}(\epsilon,d)$。

实验结果

研究问题

• RQ1 在布尔超立方体 $\{-1,1\}^n$ 上，度数为 $d$ 的 PTF 的最大平均敏感性是多少？
• RQ2 能否在布尔和高斯两种设定下，为度数为 $d$ 的 PTF 建立非平凡的噪声敏感性上界？
• RQ3 是否对超立方体中间 $d$ 层进行对称函数切片的 PTF 在所有度数为 $d$ 的 PTF 中达到最大的平均敏感性？
• RQ4 临界指数方法能否超越半空间，推广至更高阶的 PTF？
• RQ5 PTF 的平均敏感性与噪声敏感性之间存在何种关系？能否以其中一个来界定另一个？

主要发现

• 任意度数为 $d$ 的 PTF 在 $\{-1,1\}^n$ 上的平均敏感性被限制在 $O(d\sqrt{n})$ 以内，确认了 Gotsman-Linial 猜想（至多常数因子）。
• 在噪声率 $\epsilon$ 下，任意度数为 $d$ 的 PTF 在 $\{-1,1\}^n$ 上的噪声敏感性被限制在 $O(d\sqrt{\epsilon})$ 以内，与猜想一致。
• 任意度数为 $d$ 的 PTF 的高斯噪声敏感性被限制在 $O(d\sqrt{\epsilon})$ 以内，该界通过低阶多项式在高斯变量上的反浓度与尾部界限推导得出。
• 布尔噪声敏感性满足 $\mathrm{NS}_{\epsilon}(f) \geq \Omega(\mathrm{AS}(f)/n)$，且由于 $\mathrm{AS}(f) \leq O(d\sqrt{n})$，可推出 $\mathrm{NS}_{\epsilon}(f) \leq O(d\sqrt{\epsilon})$。
• 在布尔域中，度数为 $d$ 的 PTF 的最大噪声敏感性至少与在高斯域中的最大噪声敏感性相当，即 $\mathrm{NS}(\epsilon,d) \geq \mathrm{GNS}(\epsilon,d)$。
• Kalai 等人 (2008) 的 $L_1$ 多项式回归算法在均匀分布和高斯分布下，均可实现常数度数 PTF 的多项式时间泛化学习。