[论文解读] Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and ReLUs under Gaussian Marginals

Ilias Diakonikolas, Daniel M. Kane+1 more|arXiv (Cornell University)|Jun 29, 2020

Machine Learning and Algorithms参考文献 34被引用 10

一句话总结

本文在标准高斯边缘下，为近似学习半空间函数和ReLU函数建立了接近最优的统计查询（SQ）下界，其形式为 $ d^{\mathrm{poly}(1/\epsilon)} $，表明当前算法在样本复杂度和查询复杂度方面本质上是最优的。该结果依赖于构造ReLU函数和半空间函数的低次多项式逼近，这些逼近与目标函数具有高相关性，但与所有低次多项式相关性为零。

ABSTRACT

We study the fundamental problems of agnostically learning halfspaces and ReLUs under Gaussian marginals. In the former problem, given labeled examples $(\mathbf{x}, y)$ from an unknown distribution on $\mathbb{R}^d imes \{ \pm 1\}$, whose marginal distribution on $\mathbf{x}$ is the standard Gaussian and the labels $y$ can be arbitrary, the goal is to output a hypothesis with 0-1 loss $\mathrm{OPT}+ε$, where $\mathrm{OPT}$ is the 0-1 loss of the best-fitting halfspace. In the latter problem, given labeled examples $(\mathbf{x}, y)$ from an unknown distribution on $\mathbb{R}^d imes \mathbb{R}$, whose marginal distribution on $\mathbf{x}$ is the standard Gaussian and the labels $y$ can be arbitrary, the goal is to output a hypothesis with square loss $\mathrm{OPT}+ε$, where $\mathrm{OPT}$ is the square loss of the best-fitting ReLU. We prove Statistical Query (SQ) lower bounds of $d^{\mathrm{poly}(1/ε)}$ for both of these problems. Our SQ lower bounds provide strong evidence that current upper bounds for these tasks are essentially best possible.

研究动机与目标

• 在标准高斯边缘下，建立近似学习半空间函数的紧致统计查询（SQ）下界。
• 在相同的分布假设下，推导近似学习ReLU函数的类似SQ下界。
• 为现有算法在样本和查询复杂度方面的近似最优性提供强有力的理论证据。
• 利用正交多项式技术，构造一个低阶矩趋于零但与目标ReLU或半空间函数具有非平凡相关性的函数。

提出的方法

• 构造函数 $ f(z) = c \frac{\mathrm{ReLU}(z) - p(z)}{\phi(z)} \mathbf{1}_{[-1,1]}(z) $，其中 $ p(z) $ 是在 $ [-1,1] $ 上逼近 $ \mathrm{ReLU}(z) $ 的 $ k $ 次多项式。
• 利用勒让德多项式确保该函数与所有次数不超过 $ k $ 的多项式零相关，从而保证其无法被低次SQ查询区分。
• 通过选择足够小的归一化常数 $ c $，控制 $ f $ 的 $ L^\infty $-范数，确保 $ |f(z)| \leq 1 $。
• 通过分析 $ \mathrm{ReLU}(z) $ 与其多项式逼近 $ p(z) $ 在 $ [-1,1] $ 上的 $ L^2 $-距离，建立 $ \mathbf{E}[f(z) \mathrm{ReLU}(z)] $ 的下界。
• 利用泰勒展开和对 $ p(z) $ 的导数的有界性，对 $ [-\epsilon, \epsilon] $ 上的 $ (\mathrm{ReLU}(z) - p(z))^2 $ 的积分进行下界估计。
• 推导出相关性下界为 $ \Omega(1/k^{20}) $，并据此通过标准SQ复杂度分析，得出 $ d^{\mathrm{poly}(1/\epsilon)} $ 的SQ下界。

实验结果

研究问题

• RQ1 在标准高斯边缘下，近似学习半空间函数的最优统计查询复杂度是多少？
• RQ2 我们能否证明现有 $ d^{O(1/\epsilon^2)} $-时间算法本质上是最优的？
• RQ3 在高斯输入下，近似学习ReLU函数的统计查询复杂度是多少？
• RQ4 我们能否构造一个低阶矩为零但与ReLU函数具有非平凡相关性的函数？
• RQ5 多项式逼近的次数如何影响在特定分布下的近似学习SQ复杂度？

主要发现

• 本文在标准高斯边缘下，为近似学习半空间函数建立了接近最优的SQ下界 $ d^{\mathrm{poly}(1/\epsilon)} $。
• 在相同的分布假设下，证明了ReLU函数近似学习的类似 $ d^{\mathrm{poly}(1/\epsilon)} $ SQ下界。
• 这些下界表明，当前实现 $ d^{O(1/\epsilon^2)} $ 复杂度的算法本质上是最优的，因为在SQ模型下无法实现显著改进。
• 构造一个前 $ k+1 $ 个矩趋于零但与ReLU函数具有 $ \Omega(1/k^{20}) $ 相关性的函数，是推导下界的关键技术要素。
• 分析依赖于正交多项式逼近和对导数的有界性，以对ReLU与其多项式逼近在小区间上的 $ L^2 $-距离进行下界估计。
• 结果为当前在高斯边缘假设下，这些任务的最先进算法在SQ模型中是最优的，提供了强有力的证据。