[論文レビュー] Average sensitivity and noise sensitivity of polynomial threshold functions

Ilias Diakonikolas, Prasad Raghavendra+2 more|ArXiv.org|Sep 28, 2009

Machine Learning and Algorithms参考文献 26被引用数 9

ひとこと要約

本稿は、ブール超立方体およびガウス分布の両方において、次数-$d$ の多項式しきい値関数（PTF）の平均感度およびノイズ感度に対する、初めての非自明な上界を確立する。テールバウンド、反集中不等式、一般のPTFへの臨界インデックス法の拡張に加え、不変性原理を用いることで、任意の次数-$d$ PTFの平均感度が $O(d\sqrt{n})$ であることを証明し、GotsmanとLinialの長年の予想を解消する。これにより、$L_1$ 多項式回帰による効率的なアグノスティック学習が可能になる。

ABSTRACT

We give the first non-trivial upper bounds on the average sensitivity and noise sensitivity of degree-$d$ polynomial threshold functions (PTFs). These bounds hold both for PTFs over the Boolean hypercube and for PTFs over $\R^n$ under the standard $n$-dimensional Gaussian distribution. Our bound on the Boolean average sensitivity of PTFs represents progress towards the resolution of a conjecture of Gotsman and Linial \cite{GL:94}, which states that the symmetric function slicing the middle $d$ layers of the Boolean hypercube has the highest average sensitivity of all degree-$d$ PTFs. Via the $L_1$ polynomial regression algorithm of Kalai et al. \cite{KKMS:08}, our bounds on Gaussian and Boolean noise sensitivity yield polynomial-time agnostic learning algorithms for the broad class of constant-degree PTFs under these input distributions. The main ingredients used to obtain our bounds on both average and noise sensitivity of PTFs in the Gaussian setting are tail bounds and anti-concentration bounds on low-degree polynomials in Gaussian random variables \cite{Janson:97,CW:01}. To obtain our bound on the Boolean average sensitivity of PTFs, we generalize the ``critical-index'' machinery of \cite{Servedio:07cc} (which in that work applies to halfspaces, i.e. degree-1 PTFs) to general PTFs. Together with the "invariance principle" of \cite{MOO:05}, this lets us extend our techniques from the Gaussian setting to the Boolean setting. Our bound on Boolean noise sensitivity is achieved via a simple reduction from upper bounds on average sensitivity of Boolean PTFs to corresponding bounds on noise sensitivity.

研究の動機と目的

• ブール超立方体上での次数-$d$ PTFの最大平均感度に関するGotsman-Linial予想を解消すること。
• ブールおよびガウス設定の両方において、次数-$d$ PTFの平均感度およびノイズ感度に対する、初めての非自明な上界を提供すること。
• 半空間（次数1のPTF）に限らない臨界インデックス法を一般の多項式しきい値関数に拡張すること。
• 還元を用いて、ブール設定における平均感度とノイズ感度の関係を確立すること。
• 次数定数のPTFの多項式時間アグノスティック学習を、$L_1$ 多項式回帰により可能にすること。

提案手法

• Seroussi (2007) の次数1 PTF用臨界インデックス道具を、一般の次数-$d$ PTFに一般化された臨界インデックスの概念を用いて拡張する。
• Gaussian確率変数における低次多項式のテールバウンドおよび反集中不等式（Janakiraman, 1997; Chen & Wang, 2001）を応用し、ガウス設定におけるノイズ感度をバウンドする。
• Mossel, O'Donnell, および Oleszkiewicz (2005) の不変性原理を用いて、ガウス設定からブール超立方体設定への境界の転送を行う。
• ブールドメインにおいて、平均感度からノイズ感度への還元を用い、$\mathrm{NS}_{1/n}(f) \geq \Omega(\mathrm{AS}(f)/n)$ を示す。
• 中央極限定理を活用し、$k$ 個のビットの正規化された和を用いて、与えられたガウス PTF $f$ を近似するブール PTF $h_k$ の列を構築する。
• $k \to \infty$ のとき、$h_k$ のノイズ感度が $f$ のガウスノイズ感度に収束することを証明し、$\mathrm{NS}(\epsilon,d) \geq \mathrm{GNS}(\epsilon,d)$ を確立する。

実験結果

リサーチクエスチョン

• RQ1 ブール超立方体 $\{-1,1\}^n$ 上の次数-$d$ PTFの最大平均感度は何か？
• RQ2 ブールおよびガウス設定の両方において、次数-$d$ PTFのノイズ感度に対して非自明な上界を確立できるか？
• RQ3 超立方体の中央 $d$ 層をスライスする対称関数は、すべての次数-$d$ PTFの中で最大の平均感度を達成するか？
• RQ4 臨界インデックス法は、半空間を越えて高次PTFへ一般化可能か？
• RQ5 PTFにおける平均感度とノイズ感度の関係は何か？ 一方を他方の関数としてバウンドできるか？

主な発見

• 任意の次数-$d$ PTFのブール超立方体 $\{-1,1\}^n$ 上での平均感度は $O(d\sqrt{n})$ でバウンドされ、Gotsman-Linial予想が定数係数の違いを除いて確認される。
• 任意の次数-$d$ PTFのブール超立方体上でのノイズ感度（ノイズ率 $\epsilon$）は $O(d\sqrt{\epsilon})$ でバウンドされ、予想された境界と一致する。
• 任意の次数-$d$ PTFのガウスノイズ感度は $O(d\sqrt{\epsilon})$ でバウンドされ、低次多項式のガウス分布における反集中およびテールバウンドから導出される。
• 任意の次数-$d$ PTFのブールノイズ感度は $\Omega(\mathrm{AS}(f)/n)$ 以上であり、$\mathrm{AS}(f) \leq O(d\sqrt{n})$ であることから、$\mathrm{NS}_{\epsilon}(f) \leq O(d\sqrt{\epsilon})$ が導かれる。
• ブールドメインにおける次数-$d$ PTFの最大ノイズ感度は、ガウスドメインにおけるそれ以上である、すなわち $\mathrm{NS}(\epsilon,d) \geq \mathrm{GNS}(\epsilon,d)$ が成り立つ。
• Kalai ら (2008) の $L_1$ 多項式回帰アルゴリズムは、一様分布およびガウス分布の下で、次数定数のPTFに対する多項式時間アグノスティック学習アルゴリズムを実現する。