[论文解读] Cryptographic Hardness of Learning Halfspaces with Massart Noise

Ilias Diakonikolas, Daniel M. Kane+2 more|arXiv (Cornell University)|Jul 28, 2022

Machine Learning and Algorithms被引用 5

一句话总结

该论文在LWE问题的次指数时间困难性假设下，首次建立了PAC学习半空间在Massart噪声下的计算困难性结果，表明当最优误差OPT指数级小时，任何多项式时间算法都无法实现优于Ω(η)的误差。该结果意味着已知的Massart半空间高效学习算法在误差保证方面已近乎最优。

ABSTRACT

We study the complexity of PAC learning halfspaces in the presence of Massart noise. In this problem, we are given i.i.d. labeled examples $(\mathbf{x}, y) \in \mathbb{R}^N imes \{ \pm 1\}$, where the distribution of $\mathbf{x}$ is arbitrary and the label $y$ is a Massart corruption of $f(\mathbf{x})$, for an unknown halfspace $f: \mathbb{R}^N o \{ \pm 1\}$, with flipping probability $η(\mathbf{x}) \leq η< 1/2$. The goal of the learner is to compute a hypothesis with small 0-1 error. Our main result is the first computational hardness result for this learning problem. Specifically, assuming the (widely believed) subexponential-time hardness of the Learning with Errors (LWE) problem, we show that no polynomial-time Massart halfspace learner can achieve error better than $Ω(η)$, even if the optimal 0-1 error is small, namely $\mathrm{OPT} = 2^{-\log^{c} (N)}$ for any universal constant $c \in (0, 1)$. Prior work had provided qualitatively similar evidence of hardness in the Statistical Query model. Our computational hardness result essentially resolves the polynomial PAC learnability of Massart halfspaces, by showing that known efficient learning algorithms for the problem are nearly best possible.

研究动机与目标

• 解决机器学习理论中长期悬而未决的PAC学习半空间在Massart噪声下的计算复杂性问题。
• 在噪声率η远离1/2但最优误差OPT指数级小时，建立学习半空间的计算困难性边界。
• 通过证明在标准密码学假设下，将误差改进至Ω(η)以下在计算上不可行，表明已知可实现误差≈η的高效算法已近乎最优。
• 弥合Massart噪声模型下统计学习与计算学习复杂性之间的差距，尤其针对线性阈值函数。

提出的方法

• 将学习Massart半空间的计算困难性归约至Learning with Errors (LWE)问题的次指数时间困难性。
• 构造一个标记样本的分布，其中真实半空间的最优误差呈指数级小，但任何高效学习器都必须承受Ω(η)的误差。
• 使用Veronese嵌入将低次多项式阈值函数（PTFs）转换为线性阈值函数（LTFs），同时保持噪声结构不变。
• 设计一种基于LWE的分布，同时模拟原假设与备择假设，从而实现计算归约。
• 应用浓度不等式（Hoeffding不等式）证明所构造的分布与具有有界噪声率的有效Massart分布在统计上接近。
• 利用分布之间的总变差距离，确保任何高效学习器无法以非可忽略的优势区分困难实例与良性实例。

实验结果

研究问题

• RQ1 在Massart噪声下，即使最优误差OPT指数级小，高效PAC学习算法能否实现显著优于η的误差？
• RQ2 是否存在计算障碍，使得多项式时间学习器无法在Massart半空间学习问题中逼近信息论最优误差？
• RQ3 LWE问题的次指数时间困难性是否意味着在Massart噪声下学习半空间的计算不可行？
• RQ4 已知的在Massart半空间上实现误差≈η的多项式时间算法，在误差保证方面是否近乎最优？

主要发现

• 在Learning with Errors (LWE)问题的次指数时间困难性假设下，任何多项式时间算法都无法在Massart半空间学习中实现优于Ω(η)的误差。
• 即使最优0-1误差小至2^{-log^c(N)}（其中c为任意绝对常数且c ∈ (0,1)），任何高效学习器也无法实现优于Ω(η)的误差。
• 计算困难性结果与已知高效算法的误差保证一致，表明这些算法在误差方面已近乎最优。
• 归约表明，在标准密码学假设下，将误差改进至η以下在计算上不可行，从而解决了长期悬而未决的开放问题。
• 该结果在Massart噪声模型下为半空间建立了统计学习与计算学习复杂性之间的强分离。
• 该困难性框架适用于广泛类别的分布，并表明η的误差界对于高效学习而言本质上是紧的。