[论文解读] Active and passive learning of linear separators under log-concave distributions

Maria Florina Balcan, Philip M. Long|arXiv (Cornell University)|Nov 6, 2012

Machine Learning and Algorithms被引用 17

一句话总结

本文证明，在几乎对数凹分布下，对齐次线性分类器，主动学习相比被动PAC学习实现了样本复杂度的指数级改进。本文提出了一种计算高效的PAC算法，实现了最优样本复杂度，解决了长期悬而未决的关于单位球内均匀分布下样本效率的开放问题，并为一般自然数据分布下无限类别的假设函数提供了紧致的边界。

ABSTRACT

We provide new results concerning label efficient, polynomial time, passive and active learning of linear separators. We prove that active learning provides an exponential improvement over PAC (passive) learning of homogeneous linear separators under nearly log-concave distributions. Building on this, we provide a computationally efficient PAC algorithm with optimal (up to a constant factor) sample complexity for such problems. This resolves an open question concerning the sample complexity of efficient PAC algorithms under the uniform distribution in the unit ball. Moreover, it provides the first bound for a polynomial-time PAC algorithm that is tight for an interesting infinite class of hypothesis functions under a general and natural class of data-distributions, providing significant progress towards a longstanding open question. We also provide new bounds for active and passive learning in the case that the data might not be linearly separable, both in the agnostic case and and under the Tsybakov low-noise condition. To derive our results, we provide new structural results for (nearly) log-concave distributions, which might be of independent interest as well.

研究动机与目标

• 解决单位球内均匀分布下高效PAC学习的样本复杂度的开放问题。
• 在几乎对数凹分布下，建立主动学习相比被动PAC学习在样本效率上的指数级改进。
• 为一般自然数据分布下的线性分类器提供紧致且计算高效的PAC学习算法。
• 将结果扩展至非可分设置，包括对抗学习与Tsybakov低噪声条件。
• 推导几乎对数凹分布的新结构性质，以支持理论分析。

提出的方法

• 利用几乎对数凹分布的结构性质，设计一种新颖的主动学习算法，其样本复杂度可被严格证明降低。
• 提出一种计算高效的PAC学习算法，其样本复杂度达到最优（至多常数因子）。
• 采用基于间隔的主动学习策略，在给定分布假设下自适应地查询信息丰富的样本。
• 应用Tsybakov低噪声条件以在非可分设置下界化泛化误差。
• 使用经验风险最小化（ERM）并结合分布特定的采样策略，确保在弱假设下的收敛性。
• 推导几乎对数凹测度的新集中与反集中不等式，以支持理论保证。

实验结果

研究问题

• RQ1 在几乎对数凹分布下，主动学习能否为线性分类器实现相比被动PAC学习的指数级样本复杂度改进？
• RQ2 在单位球内均匀分布下，线性分类器高效PAC学习的最优样本复杂度是多少？
• RQ3 能否在一般数据分布下，为无限类别的假设函数建立紧致且计算高效的PAC边界？
• RQ4 在对抗学习与Tsybakov低噪声设置下，结果如何扩展至非线性可分数据？
• RQ5 几乎对数凹分布的哪些新结构性质使得学习保证得以改进？

主要发现

• 在几乎对数凹分布下，对齐次线性分类器，主动学习相比被动PAC学习实现了样本复杂度的指数级改进。
• 本文通过提供首个紧致、多项式时间的PAC算法，解决了长期悬而未决的开放问题，该算法在单位球内均匀分布下实现了最优样本复杂度。
• 所提出的算法实现了最优样本复杂度（至多常数因子），标志着在计算学习理论中一个长期开放问题上的重大进展。
• 推导出几乎对数凹分布的新结构结果，这些结果可能在高维概率与学习理论中具有独立兴趣。
• 该框架可扩展至非可分设置，在对抗学习与Tsybakov低噪声条件下均提供了新边界。
• 理论分析表明，所提出的主动学习策略显著减少了相比被动学习所需的标注样本数量，尤其在有利的数据分布下。