[논문 리뷰] Learning DNF Expressions from Fourier Spectrum

Vitaly Feldman|arXiv (Cornell University)|2012. 03. 03.

Machine Learning and Algorithms참고 문헌 28인용 수 7

한 줄 요약

이 논문은 제품 분포 하에서 단조 DNF 표현식을 학습하기 위한 새로운 푸리에 기반 알고리즘을 제안한다. 함수를 그 '중요한' 저차수 푸리에 계수로 근사함으로써 이를 수행한다. 이 방법은 이전 접근법을 단순화하며, 런타임이 $\tilde{O}(n \cdot (s \cdot \log(s/\epsilon))^{O(\log(s/\epsilon))})$임을 확보하고, Servedio(2004)의 경계에서 추가적인 $\log(1/\epsilon)$ 요소를 제거함으로써 향상시켰다. 이에 따라 $2^{\sqrt{\log n}}$-항 단조 DNF의 다항시간 학습이 가능해진다.

ABSTRACT

Since its introduction by Valiant in 1984, PAC learning of DNF expressions remains one of the central problems in learning theory. We consider this problem in the setting where the underlying distribution is uniform, or more generally, a product distribution. Kalai, Samorodnitsky and Teng (2009) showed that in this setting a DNF expression can be efficiently approximated from its "heavy" low-degree Fourier coefficients alone. This is in contrast to previous approaches where boosting was used and thus Fourier coefficients of the target function modified by various distributions were needed. This property is crucial for learning of DNF expressions over smoothed product distributions, a learning model introduced by Kalai et al. (2009) and inspired by the seminal smoothed analysis model of Spielman and Teng (2001). We introduce a new approach to learning (or approximating) a polynomial threshold functions which is based on creating a function with range [-1,1] that approximately agrees with the unknown function on low-degree Fourier coefficients. We then describe conditions under which this is sufficient for learning polynomial threshold functions. Our approach yields a new, simple algorithm for approximating any polynomial-size DNF expression from its "heavy" low-degree Fourier coefficients alone. Our algorithm greatly simplifies the proof of learnability of DNF expressions over smoothed product distributions. We also describe an application of our algorithm to learning monotone DNF expressions over product distributions. Building on the work of Servedio (2001), we give an algorithm that runs in time $\poly((s \cdot \log{(s/\eps)})^{\log{(s/\eps)}}, n)$, where $s$ is the size of the target DNF expression and $\eps$ is the accuracy. This improves on $\poly((s \cdot \log{(ns/\eps)})^{\log{(s/\eps)} \cdot \log{(1/\eps)}}, n)$ bound of Servedio (2001).

연구 동기 및 목표

• 제품 분포 하에서 단조 DNF 표현식을 학습하기 위한 더 단순하고 효율적인 알고리즘을 개발하기.
• 이전 연구에서 사용된 멤버십 쿼리나 부스팅 기법이 필요 없도록 하기.
• 특히 $\log(1/\epsilon)$ 요소를 제거함으로써 Servedio(2004)의 결과보다 향상된 런타임 경계를 달성하기.
• 부드러운 제품 분포로의 접근 확장과 다항식 임계함수 학습을 위한 통합 프레임워크 제공하기.
• 새로운 알고리즘 하에서 $2^{\sqrt{\log n}}$-항 단조 DNF가 다항시간 내에 학습 가능하다는 것을 보여주기.

제안 방법

• 범위 $[-1,1]$인 유계 함수 $g$를 구성하여, 목표 함수 $f$의 저차수 푸리에 계수에서 근사한다.
• 이중 단계 과정을 사용한다: 먼저 $\gamma^2/3$ 정확도로 영향력 있는 변수를 영향도 추정을 통해 식별하고, 그 다음 저차수 푸리에 근사값을 이러한 변수들로 제한한다.
• 영향력 있는 변수 집합 $M$에 대해 저차수 푸리에 근사 알고리즘을 적용하여 $\|\hat{f}(B_d) - \tilde{f}(B_d)\|_\infty \leq \gamma$를 보장한다.
• PTFapprox 알고리즘을 사용하여 $\|\hat{f}(B_d) - \hat{g}(B_d)\|_\infty \leq 5\gamma$가 되도록 $g$를 구성함으로써 작은 $L_1$ 오차를 확보한다.
• 표현식 $\mathbf{E}[|f - g|] \leq (2s+1)\|\hat{f}(B_d) - \hat{g}(B_d)\|_\infty + 4\epsilon'$을 활용하여 $\Pr[\text{sign}(g) \neq f] \leq \epsilon$을 보장한다.
• 영향력 있는 변수는 최대 $s \cdot \log(3s/\gamma^2)$개 뿐이므로, 탐색 공간이 제한되고 효율적인 계산이 가능하다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 멤버십 쿼리나 부스팅 기법 없이, 오직 중요한 저차수 푸리에 계수만을 사용하여 단조 DNF 표현식을 효율적으로 학습할 수 있는가?
• RQ2 Servedio(2004)의 알고리즘의 런타임을, 지수에 있는 $\log(1/\epsilon)$ 요소를 제거함으로써 향상시킬 수 있는가?
• RQ3 제품 분포 하에서 $2^{\sqrt{\log n}}$-항 단조 DNF를 다항시간 내에 학습할 수 있는가?
• RQ4 무작위 예제로부터 변수의 영향도를 어떻게 추정하여 비영향력 변수를 효율적으로 제거할 수 있는가?
• RQ5 푸리에 기반 접근법을 부드러운 제품 분포 및 기타 다항식 임계함수로 일반화할 수 있는가?

주요 결과

• 제안된 알고리즘은 런타임 $\tilde{O}(n \cdot (s \cdot \log(s/\epsilon))^{O(\log(s/\epsilon))})$을 달성하며, Servedio의 $\text{poly}((s \cdot \log(ns/\epsilon))^{\log(s/\epsilon) \cdot \log(1/\epsilon)}, n)$ 경계에서 지수에 있는 $\log(1/\epsilon)$ 요소를 제거함으로써 향상되었다.
• 알고리즘은 $c$-유계 제품 분포 하에서 $s$-항 단조 DNF 표현식을 정확도 $\epsilon$로 $\tilde{O}(n \cdot (s \cdot \log(s/\epsilon))^{O(\log(s/\epsilon))})$ 시간 내에 학습한다.
• 만약 $s/\epsilon = 2^{\sqrt{\log n}}$이면, 알고리즘은 다항시간 내에 실행되며, 이는 $2^{\sqrt{\log n}}$-항 단조 DNF가 다항시간 내에 학습 가능하다는 것을 보여준다.
• 부스팅과 멤버십 쿼리를 피하고, 오직 푸리에 계수 추정과 변수 제거에 의존함으로써 이전 방법보다 단순화된다.
• 알고리즘은 DNF에 국한되지 않고 넓은 범위의 다항식 임계함수를 학습하는 데 일반화 가능하다.
• 변수의 영향도는 무작위 예제로부터 추정되며, 영향도가 $2\gamma^2/3$ 이하인 변수들은 제거되어, 영향력 있는 변수는 최대 $s \cdot \log(3s/\gamma^2)$개만 남는다.