[논문 리뷰] Average sensitivity and noise sensitivity of polynomial threshold functions

Ilias Diakonikolas, Prasad Raghavendra외 2명|ArXiv.org|2009. 09. 28.

Machine Learning and Algorithms참고 문헌 26인용 수 9

한 줄 요약

이 논문은 부울 초입체와 가우시안 분포 위에서 차수-$d$ 다항식 임계함수(Polynomial Threshold Functions, PTFs)의 평균 민감도와 노이즈 민감도에 대해 처음으로 비자명한 상한을 확립한다. 尾 꼬리 확률 추정, 반-집중 부등식, 그리고 일반 PTFs로의 임계색인 방법의 확장과 함께, 관계 원리(invariance principle)를 활용하여, 임의의 차수-$d$ PTF의 평균 민감도가 $O(d\sqrt{n})$임을 증명한다. 이는 Gotsman와 Linial이 제기한 오랫동안 미해결이었던 추측을 해결하며, $L_1$ 다항식 회귀를 통한 효율적인 아그노스틱 학습을 가능하게 한다.

ABSTRACT

We give the first non-trivial upper bounds on the average sensitivity and noise sensitivity of degree-$d$ polynomial threshold functions (PTFs). These bounds hold both for PTFs over the Boolean hypercube and for PTFs over $\R^n$ under the standard $n$-dimensional Gaussian distribution. Our bound on the Boolean average sensitivity of PTFs represents progress towards the resolution of a conjecture of Gotsman and Linial \cite{GL:94}, which states that the symmetric function slicing the middle $d$ layers of the Boolean hypercube has the highest average sensitivity of all degree-$d$ PTFs. Via the $L_1$ polynomial regression algorithm of Kalai et al. \cite{KKMS:08}, our bounds on Gaussian and Boolean noise sensitivity yield polynomial-time agnostic learning algorithms for the broad class of constant-degree PTFs under these input distributions. The main ingredients used to obtain our bounds on both average and noise sensitivity of PTFs in the Gaussian setting are tail bounds and anti-concentration bounds on low-degree polynomials in Gaussian random variables \cite{Janson:97,CW:01}. To obtain our bound on the Boolean average sensitivity of PTFs, we generalize the ``critical-index'' machinery of \cite{Servedio:07cc} (which in that work applies to halfspaces, i.e. degree-1 PTFs) to general PTFs. Together with the "invariance principle" of \cite{MOO:05}, this lets us extend our techniques from the Gaussian setting to the Boolean setting. Our bound on Boolean noise sensitivity is achieved via a simple reduction from upper bounds on average sensitivity of Boolean PTFs to corresponding bounds on noise sensitivity.

연구 동기 및 목표

• 부울 초입체 위에서 차수-$d$ PTFs의 최대 평균 민감도에 대한 Gotsman-Linial 추측을 해결하기 위해.
• 부울 및 가우시안 설정 모두에서 차수-$d$ PTFs에 대한 평균 민감도와 노이즈 민감도에 대해 처음으로 비자명한 상한을 제공하기 위해.
• 반반의 절반공간(차수-1 PTFs)에서의 임계색인 방법을 일반 다항식 임계함수로 확장하기 위해.
• 감소를 통한 부울 영역에서의 평균 민감도와 노이즈 민감도 간의 연결 고리를 설정하기 위해.
• 상수 차수의 PTFs에 대해 $L_1$ 다항식 회귀를 이용한 다항시간 아그노스틱 학습을 가능하게 하기 위해.

제안 방법

• Seroussi(2007)의 임계색인 기반 기법을 차수-1 PTFs에서 일반 차수-$d$ PTFs로 확장하기 위해 일반화된 임계색인 개념을 도입한다.
• Gaussian 난수에서의 저차수 다항식에 대한 尾 꼬리 확률 추정과 반-집중 부등식(Janakiraman, 1997; Chen & Wang, 2001)을 적용하여 가우시안 설정에서의 노이즈 민감도를 제한한다.
• Mossel, O'Donnell, Oleszkiewicz(2005)의 관계 원리를 활용하여 가우시안 설정에서의 결과를 부울 초입체 설정으로 이전한다.
• 부울 영역에서 평균 민감도에서 노이즈 민감도로의 감소를 사용하여, $\mathrm{NS}_{1/n}(f) \geq \Omega(\mathrm{AS}(f)/n)$임을 보인다.
• 중앙극한정리에 기반하여, 주어진 가우시안 PTF $f$를 정규화된 $k$개 비트의 합으로 근사하는 부울 PTF $h_k$의 수열을 구성한다.
• 이를 통해 $h_k$의 노이즈 민감도가 $k \to \infty$일 때 가우시안 노이즈 민감도 $\mathrm{GNS}(\epsilon,d)$로 수렴함을 증명하며, $\mathrm{NS}(\epsilon,d) \geq \mathrm{GNS}(\epsilon,d)$를 확립한다.

실험 결과

연구 질문

• RQ1 부울 초입체 $\{-1,1\}^n$ 위에서 차수-$d$ PTF의 최대 평균 민감도는 무엇인가?
• RQ2 부울 및 가우시안 설정 모두에서 차수-$d$ PTFs에 대해 비자명한 노이즈 민감도 상한을 확립할 수 있는가?
• RQ3 초입체의 중간 $d$층을 자르는 대칭 함수는 모든 차수-$d$ PTFs 중에서 최대 평균 민감도를 갖는가?
• RQ4 임계색인 방법은 반반의 절반공간을 넘어서 고차수 PTFs로 일반화될 수 있는가?
• RQ5 PTFs에 대해 평균 민감도와 노이즈 민감도 사이의 관계는 무엇이며, 한쪽이 다른 쪽에 의해 제한될 수 있는가?

주요 결과

• 임의의 차수-$d$ PTF가 $\{-1,1\}^n$ 위에서 평균 민감도가 $O(d\sqrt{n})$ 이하로 제한되며, 이는 Gotsman-Linial 추측을 상수 인자 범위 내에서 확인한다.
• 임의의 차수-$d$ PTF가 부울 초입체 위에서 노이즈 비율 $\epsilon$일 때의 노이즈 민감도는 $O(d\sqrt{\epsilon})$ 이하이며, 이는 추측된 상한과 일치한다.
• 임의의 차수-$d$ PTF의 가우시안 노이즈 민감도는 $O(d\sqrt{\epsilon})$ 이하이며, 이는 저차수 다항식에 대한 반-집중 및 尾 꼬리 확률 추정을 통해 유도된다.
• 부울 노이즈 민감도는 $\Omega(\mathrm{AS}(f)/n)$ 이상이며, $\mathrm{AS}(f) \leq O(d\sqrt{n})$ 이므로 이는 $\mathrm{NS}_{\epsilon}(f) \leq O(d\sqrt{\epsilon})$를 암시한다.
• 부울 영역에서의 차수-$d$ PTF의 최대 노이즈 민감도는 가우시안 영역의 최대 노이즈 민감도 이상이며, 즉 $\mathrm{NS}(\epsilon,d) \geq \mathrm{GNS}(\epsilon,d)$이다.
• Kalai 등(2008)의 $L_1$ 다항식 회귀 알고리즘은 균일 분포 및 가우시안 분포 하에서 상수 차수 PTFs에 대해 다항시간 아그노스틱 학습 알고리즘을 제공한다.