[论文解读] The Optimal Sample Complexity of PAC Learning

Steve Hanneke|arXiv (Cornell University)|Jul 2, 2015

Machine Learning and Algorithms参考文献 21被引用 58

一句话总结

该论文通过提出一种新颖的多数投票学习算法，解决了PAC学习中确定最优样本复杂度这一长期悬而未决的问题。该算法通过递归划分训练数据来构建重叠的子集以训练基分类器。该方法实现的样本复杂度与已知的下界在常数因子范围内一致，消除了此前上界中存在对数差距的问题。

ABSTRACT

This work establishes a new upper bound on the number of samples sufficient for PAC learning in the realizable case. The bound matches known lower bounds up to numerical constant factors. This solves a long-standing open problem on the sample complexity of PAC learning. The technique and analysis build on a recent breakthrough by Hans Simon.

研究动机与目标

• 解决可实现情形下PAC学习样本复杂度的已知下界与上界之间的差距。
• 设计一种在常数因子范围内达到最优样本复杂度的学习算法，从而解决计算学习理论中长期存在的开放问题。
• 在汉斯·西蒙（2015）工作的基础上进一步改进，其工作虽减少了对数因子但未完全消除。
• 建立一个紧致的上界，使样本复杂度在数量级上与现有下界相匹配。

提出的方法

• 所提出的算法采用递归数据划分策略，为基分类器生成重叠的训练子集，从而确保投票过程的高相关性与鲁棒性。
• 每个基分类器均基于通过递归算法选择的子集进行训练，该算法旨在最大化重叠度与覆盖范围。
• 最终假设通过在所有基于递归生成子集训练的基分类器上进行多数投票形成。
• 分析过程运用了对切尔诺夫不等式和集中不等式的精细化应用，以控制多数投票的误差率。
• 引入一个技术性引理，用于界定样本复杂度推导中出现的对数表达式，从而实现对ε和δ依赖关系的更紧密控制。
• 该方法可推广至非正规学习（improper learning），允许基学习器输出原概念类之外的假设，只要其VC维较小即可。

实验结果

研究问题

• RQ1 在可实现情形下，PAC学习的样本复杂度是否存在最紧致的上界？
• RQ2 能否完全消除已知上界与下界之间样本复杂度的对数因子差距？
• RQ3 是否存在一种基于递归数据划分与多数投票的学习算法，能够实现最优样本复杂度？
• RQ4 与独立采样相比，训练子集中的递归重叠如何提升泛化性能？

主要发现

• 该论文建立了PAC学习样本复杂度的新上界，其与已知下界在常数因子范围内一致，从而解决了数十年来的开放问题。
• 所提出的算法通过在基于重叠数据子集递归生成的分类器上进行多数投票，实现了该上界，优于以往方法。
• 该方法消除了此前在样本复杂度中使上界与下界分离的对数因子，实现了在数值常数范围内的紧致性。
• 分析结果表明，即使在VC维d ≥ 3的概念类下，样本复杂度仍为最优，与Ω(1/ε)下界在常数因子范围内一致。
• 该结果适用于正规学习与非正规学习，且可扩展至失败概率较小的随机基学习器。