[论文解读] More data speeds up training time in learning halfspaces over sparse vectors

Amit Daniely, Nati Linial+1 more|arXiv (Cornell University)|Nov 10, 2013

Machine Learning and Algorithms参考文献 13被引用 37

一句话总结

该论文首次在自然监督学习问题中证明了过剩数据可带来计算速度提升：在\{-1,1,0\}^n上对3-稀疏向量进行对抗PAC学习的半空间。在广泛接受的假设下，即反驳随机3-CNF公式是困难的，该文证明了不存在使用O(n/ε²)个样本的高效算法，但新提出的算法可在Õ(n²/ε²)个样本下实现高效学习，展示了形式化的样本-计算权衡。

ABSTRACT

The increased availability of data in recent years has led several authors to ask whether it is possible to use data as a {\em computational} resource. That is, if more data is available, beyond the sample complexity limit, is it possible to use the extra examples to speed up the computation time required to perform the learning task? We give the first positive answer to this question for a {\em natural supervised learning problem} --- we consider agnostic PAC learning of halfspaces over $3$-sparse vectors in $\{-1,1,0\}^n$. This class is inefficiently learnable using $O\left(n/ε^2 ight)$ examples. Our main contribution is a novel, non-cryptographic, methodology for establishing computational-statistical gaps, which allows us to show that, under a widely believed assumption that refuting random $\mathrm{3CNF}$ formulas is hard, it is impossible to efficiently learn this class using only $O\left(n/ε^2 ight)$ examples. We further show that under stronger hardness assumptions, even $O\left(n^{1.499}/ε^2 ight)$ examples do not suffice. On the other hand, we show a new algorithm that learns this class efficiently using $ ildeΩ\left(n^2/ε^2 ight)$ examples. This formally establishes the tradeoff between sample and computational complexity for a natural supervised learning problem.

研究动机与目标

• 研究过剩数据——超出信息论样本复杂度的数据——是否可在自然监督学习问题中可证明地减少训练时间。
• 解决在k-稀疏向量上进行对抗PAC学习半空间的计算-统计权衡问题，特别是针对k=3的情况。
• 开发一种新颖的、非密码学的方法，用于建立学习问题中的计算-统计间隙。
• 在标准复杂度假设下，为3-稀疏半空间的高效学习提供紧致的上下界样本复杂度。

提出的方法

• 作者提出一种新方法，用于建立计算-统计权衡，而无需依赖密码学原原子。
• 他们将学习问题归约为反驳随机3-CNF公式的困难性，利用一个广泛接受的复杂性理论假设。
• 设计了一种新颖的算法，使用Õ(n²/ε²)个样本高效学习3-稀疏半空间，优于标准的O(n/ε²)样本界。
• 该方法采用非正规学习，允许假设函数超出原始类别，从而提高高效学习的灵活性。
• 下界证明涉及构造一个3MAJ公式上的分布，并分析在随机赋值和满足赋值下的错误率。
• 使用Chernoff不等式和集中不等式，表明随机样本产生高错误率，而满足赋值产生低错误率，从而实现将输入分类为“典型”或“异常”类别。

实验结果

研究问题

• RQ1 在自然监督学习问题中，过剩数据是否可被用来可证明地减少训练时间？
• RQ2 在3-稀疏向量上的半空间学习中是否存在计算-统计权衡，使得更多数据可实现更快学习？
• RQ3 此类权衡是否可不依赖密码学假设或归约而建立？
• RQ4 在标准复杂度假设下，3-稀疏半空间高效学习的最紧样本复杂度是多少？
• RQ5 3-稀疏半空间学习的上下界之间的差距是否可以被缩小？

主要发现

• 在假设反驳随机3-CNF公式是困难的前提下，使用仅O(n/ε²)个样本无法实现3-稀疏半空间学习的高效算法。
• 即使在O(n^{1.499}/ε²)个样本下，更强的困难性假设下仍无法实现高效学习。
• 提出了一种新高效算法，使用Õ(n²/ε²)个样本学习3-稀疏半空间，实现了由过剩数据带来的可证明加速。
• 该论文首次建立了非密码学方法来证明监督学习中计算-统计权衡。
• 对于2-稀疏半空间的上界为O(n log³n / ε²)，对于3-稀疏半空间为O(n² log³n / ε²)，两者均为高效。
• 作者推测3-稀疏半空间可使用Õ(n^{1.5}/ε²)个样本高效学习，暗示可能存在更紧的上界。