[论文解读] Approximating the Number of Relevant Variables in a Parity Implies Proper Learning

Arnab Bhattacharyya, Ameet Gadekar+1 more|arXiv (Cornell University)|Feb 18, 2015

Machine Learning and Algorithms参考文献 15被引用 3

一句话总结

本文提出了一种新颖的算法，用于在无噪声的误分类边界模型中学习 k-奇偶性，将运行时间实现指数级改进——从 $\binom{t}{k}$ 降低至 $e^{-k/4.01} \binom{t}{k}$——同时保持相同的样本复杂度。此外，本文表明，k-奇偶性的高效无噪声学习意味着在分类噪声下的高效学习，通过利用噪声率对 $f(n)$ 和 $\alpha$ 的依赖关系，打破了小噪声率下的 $\binom{n}{k/2}$ 运行时间屏障。关键贡献是一个从噪声 k-LPN 到无噪声学习的一般性约化，当噪声足够小时，可实现子 $\binom{n}{k/2}$ 时间的算法。

ABSTRACT

Consider the model where we can access a parity function through random uniform labeled examples in the presence of random classification noise. In this paper, we show that approximating the number of relevant variables in the parity function is as hard as properly learning parities. More specifically, let γ:ℝ^+ → ℝ^+, where γ(x) ≥ x, be any strictly increasing function. In our first result, we show that from any polynomial-time algorithm that returns a γ-approximation, D (i.e., γ^{-1}(d(f)) ≤ D ≤ γ(d(f))), of the number of relevant variables d(f) for any parity f, we can, in polynomial time, construct a solution to the long-standing open problem of polynomial-time learning k(n)-sparse parities (parities with k(n) ≤ n relevant variables), where k(n) = ω_n(1). In our second result, we show that from any T(n)-time algorithm that, for any parity f, returns a γ-approximation of the number of relevant variables d(f) of f, we can, in polynomial time, construct a poly(Γ(n))T(Γ(n)²)-time algorithm that properly learns parities, where Γ(x) = γ(γ(x)). If T(Γ(n)²) = exp({o(n/log n)}), this would resolve another long-standing open problem of properly learning parities in the presence of random classification noise in time exp(o(n/log n)).

研究动机与目标

• 在保持样本效率的同时，改进在线误分类边界模型中学习 k-奇偶性的时间复杂度。
• 建立从带分类噪声的 k-奇偶性学习到无噪声 k-奇偶性学习的一般性约化。
• 证明当噪声率 $\eta$ 足够小时，k-LPN 中的 $\binom{n}{k/2}$ 运行时间屏障可被打破。
• 通过利用无噪声学习的约化，将已知的 k-LPN 结果扩展到对抗性噪声设置。

提出的方法

• 使用仿射子空间族 $\mathcal{S}$ 维持不变量：隐藏的 k-稀疏向量位于其中之一。
• 在每次预测错误后，维护并更新这些子空间的大小，使总大小至少减少一半。
• 对 $\ell = (1+o(1))kn/t$ 个基向量执行高斯消去法，以计算每个查询的子空间大小，从而实现高效的运行时间分析。
• 应用从噪声 k-LPN 到无噪声学习的约化：随机翻转部分示例的标签以模拟噪声，然后在污染的数据集上运行无噪声学习者。
• 使用切尔诺夫不等式和二项熵 $H(p)$ 分析正确假设 $x_T$ 在所有候选假设中被恢复的概率。
• 以置信度参数 $\delta/2$ 应用该约化，并通过 $O(\log(1/\delta))$ 次重复放大成功概率，确保高概率正确性。

实验结果

研究问题

• RQ1 在保持样本复杂度的前提下，能否将误分类边界模型中学习 k-奇偶性的运行时间改进至 $\binom{t}{k}$ 以下？
• RQ2 k-奇偶性的高效无噪声学习是否意味着在分类噪声下的高效学习？
• RQ3 当噪声率 $\eta$ 是 $n$ 和 $k$ 的函数时，k-LPN 中的 $\binom{n}{k/2}$ 运行时间屏障能否被打破？
• RQ4 是否存在一种从噪声 k-LPN 到无噪声学习的一般性约化，且保持效率？

主要发现

• 所提出的算法实现了 $e^{-k/4.01} \binom{t}{k} \cdot \text{poly}(n) \cdot \log(1/\delta)$ 的运行时间，相比先前的 $\binom{t}{k} \cdot \text{poly}(n) \cdot \log(1/\delta)$，实现了 $\exp(k)$ 的指数级加速。
• 当 $t = n/f(n)$ 且 $f(n) \ll n/\log \log n$ 时，该算法使用 $O(k \cdot f(n)^\alpha)$ 个样本，并在 $\eta = o(1/((f(n))^\alpha \log n))$ 条件下，以 $e^{-k/4.01 + o(k)} \binom{n}{k}^{1-\alpha} \cdot \text{poly}(n)$ 的时间运行。
• 从噪声 k-LPN 到无噪声学习的约化，得到的运行时间为 $\binom{n}{k/2}^{1+O(H(1.5\eta))}$，样本复杂度为 $O(k \log n)$，相比先前的 $\binom{n}{k/2}^{1+4\eta^2+o(1)}$ 在样本复杂度上有所改进。
• 当噪声率 $\eta$ 足够小时，即 $\eta = o(1/((f(n))^\alpha \log n))$ 且 $\alpha \in [1/2, 1)$ 时，该算法打破了 k-奇偶性在噪声下的 $\binom{n}{k/2}$ 时间屏障。
• 只要标签污染率 $\eta < 1/3$，该约化对对抗性噪声也具有鲁棒性，通过相同的框架将结果扩展至对抗性设置。