[论文解读] Learning DNF Expressions from Fourier Spectrum

Vitaly Feldman|arXiv (Cornell University)|Mar 3, 2012

Machine Learning and Algorithms参考文献 28被引用 7

一句话总结

本文提出了一种基于傅里叶的新型算法，用于在乘积分布下学习单调 DNF 表达式，通过使用其‘重要’的低次傅里叶系数来近似函数。该方法简化了先前的方法，实现了 $\tilde{O}(n \cdot (s \cdot \log(s/\epsilon))^{O(\log(s/\epsilon))})$ 的运行时间，并通过消除 Servedio（2004）界中的额外 $\log(1/\epsilon)$ 因子，改进了其结果，从而实现了对 $2^{\sqrt{\log n}}$ 项单调 DNF 的多项式时间学习。

ABSTRACT

Since its introduction by Valiant in 1984, PAC learning of DNF expressions remains one of the central problems in learning theory. We consider this problem in the setting where the underlying distribution is uniform, or more generally, a product distribution. Kalai, Samorodnitsky and Teng (2009) showed that in this setting a DNF expression can be efficiently approximated from its "heavy" low-degree Fourier coefficients alone. This is in contrast to previous approaches where boosting was used and thus Fourier coefficients of the target function modified by various distributions were needed. This property is crucial for learning of DNF expressions over smoothed product distributions, a learning model introduced by Kalai et al. (2009) and inspired by the seminal smoothed analysis model of Spielman and Teng (2001). We introduce a new approach to learning (or approximating) a polynomial threshold functions which is based on creating a function with range [-1,1] that approximately agrees with the unknown function on low-degree Fourier coefficients. We then describe conditions under which this is sufficient for learning polynomial threshold functions. Our approach yields a new, simple algorithm for approximating any polynomial-size DNF expression from its "heavy" low-degree Fourier coefficients alone. Our algorithm greatly simplifies the proof of learnability of DNF expressions over smoothed product distributions. We also describe an application of our algorithm to learning monotone DNF expressions over product distributions. Building on the work of Servedio (2001), we give an algorithm that runs in time $\poly((s \cdot \log{(s/\eps)})^{\log{(s/\eps)}}, n)$, where $s$ is the size of the target DNF expression and $\eps$ is the accuracy. This improves on $\poly((s \cdot \log{(ns/\eps)})^{\log{(s/\eps)} \cdot \log{(1/\eps)}}, n)$ bound of Servedio (2001).

研究动机与目标

• 开发一种更简单、更高效的算法，用于在乘积分布下进行 PAC 学习单调 DNF 表达式。
• 消除先前工作中所需的成员查询或提升技术。
• 与 Servedio（2004）相比，实现更优的运行时间界限，特别是通过去除 $\log(1/\epsilon)$ 因子。
• 将该方法扩展到平滑乘积分布，并为学习多项式阈值函数提供统一框架。
• 证明在新算法下，$2^{\sqrt{\log n}}$-项单调 DNF 可在多项式时间内学习。

提出的方法

• 构建一个有界函数 $g$，其取值范围为 $[-1,1]$，使其在低次傅里叶系数上近似目标函数 $f$。
• 采用两步法：首先通过 $\gamma^2/3$ 的精度估计影响度，识别出影响显著的变量；然后将低次傅里叶近似限制在这些变量上。
• 在影响显著的变量集合 $M$ 上应用低次傅里叶近似算法，确保 $\|\hat{f}(B_d) - \tilde{f}(B_d)\|_\infty \leq \gamma$。
• 使用 PTFapprox 算法构造 $g$，使得 $\|\hat{f}(B_d) - \hat{g}(B_d)\|_\infty \leq 5\gamma$，从而保证小的 $L_1$ 误差。
• 利用不等式 $\mathbf{E}[|f - g|] \leq (2s+1)\|\hat{f}(B_d) - \hat{g}(B_d)\|_\infty + 4\epsilon'$，确保 $\Pr[\text{sign}(g) \neq f] \leq \epsilon$。
• 证明仅有 $s \cdot \log(3s/\gamma^2)$ 个变量可能具有显著影响，从而限制了搜索空间并实现了高效计算。

实验结果

研究问题

• RQ1 是否可以仅利用其重要低次傅里叶系数，无需成员查询或提升技术，高效学习单调 DNF 表达式？
• RQ2 是否可以通过去除指数中的 $\log(1/\epsilon)$ 因子，改进 Servedio（2004）算法的运行时间？
• RQ3 在乘积分布下，是否可以实现对 $2^{\sqrt{\log n}}$-项单调 DNF 的多项式时间学习？
• RQ4 如何从随机样本中估计变量的影响度，以高效地剔除非显著变量？
• RQ5 该傅里叶方法是否可推广至平滑乘积分布及其他多项式阈值函数？

主要发现

• 所提算法实现了 $\tilde{O}(n \cdot (s \cdot \log(s/\epsilon))^{O(\log(s/\epsilon))})$ 的运行时间，相较于 Servedio 的 $\text{poly}((s \cdot \log(ns/\epsilon))^{\log(s/\epsilon) \cdot \log(1/\epsilon)}, n)$ 界，通过去除指数中的 $\log(1/\epsilon)$ 因子实现了改进。
• 该算法在 $c$-有界乘积分布下，以时间 $\tilde{O}(n \cdot (s \cdot \log(s/\epsilon))^{O(\log(s/\epsilon))})$ 学习 $s$-项单调 DNF 表达式，精度为 $\epsilon$。
• 当 $s/\epsilon = 2^{\sqrt{\log n}}$ 时，算法运行时间为多项式时间，表明 $2^{\sqrt{\log n}}$-项单调 DNF 可在多项式时间内学习。
• 该方法通过避免使用提升和成员查询，简化了先前方法，仅依赖傅里叶系数估计与变量剪枝。
• 该算法可推广至学习一大类多项式阈值函数，不限于 DNF。
• 变量的影响度通过随机样本估计，影响度低于 $2\gamma^2/3$ 的变量被剔除，确保仅保留 $s \cdot \log(3s/\gamma^2)$ 个显著变量。