[论文解读] 2 Notes on Classes with Vapnik-Chervonenkis Dimension 1

Shai Ben-David|arXiv (Cornell University)|Jul 19, 2015

Machine Learning and Algorithms参考文献 2被引用 7

一句话总结

本文证明了VC维为1的概念类具有简单的树状结构，使得标记信息可完全压缩至单个实例。此外，研究揭示了在某些集合论假设下，经验风险最小化（ERM）在这些类中存在关键性失效，这是由于不可测性问题所致，从而动摇了标准VC理论对ERM成功的保证，即使在VC维为1的类中也是如此。

ABSTRACT

The Vapnik-Chervonenkis dimension is a combinatorial parameter that reflects the "complexity" of a set of sets (a.k.a. concept classes). It has been introduced by Vapnik and Chervonenkis in their seminal 1971 paper and has since found many applications, most notably in machine learning theory and in computational geometry. Arguably the most influential consequence of the VC analysis is the fundamental theorem of statistical machine learning, stating that a concept class is learnable (in some precise sense) if and only if its VC-dimension is finite. Furthermore, for such classes a most simple learning rule - empirical risk minimization (ERM) - is guaranteed to succeed. The simplest non-trivial structures, in terms of the VC-dimension, are the classes (i.e., sets of subsets) for which that dimension is 1. In this note we show a couple of curious results concerning such classes. The first result shows that such classes share a very simple structure, and, as a corollary, the labeling information contained in any sample labeled by such a class can be compressed into a single instance. The second result shows that due to some subtle measurability issues, in spite of the above mentioned fundamental theorem, there are classes of dimension 1 for which an ERM learning rule fails miserably.

研究动机与目标

• 表征VC维为1的概念类的结构特性。
• 证明此类类中标签信息可压缩为单个实例。
• 识别尽管VC维有限，经验风险最小化（ERM）仍会失效的条件。
• 揭示可测性在统计学习基本定理有效性中的作用。

提出的方法

• 在定义域上引入一种树序，使得该类中的每个概念在该序下均为初始段。
• 定义概念类的f-表示以规范化标签并保持VC维。
• 基于假设之间标签一致性，构建基于≤fH的偏序，以诱导树状结构。
• 利用连续统假设在[0,1]上构造良序，使得初始段为可数集。
• 定义一个ERM规则，选择最大的r，使得h_r与样本中的正样本标签一致。
• 利用Fubini定理的失效，证明在勒贝格测度下集合{(x,y): x ≺ y}的不可测性。

实验结果

研究问题

• RQ1 VC维为1的概念类具有何种结构特性？
• RQ2 VC维为1的类中的标签信息能否压缩为单个实例？
• RQ3 为何尽管学习理论基本定理成立，某些VC维为1的类中ERM仍会失效？
• RQ4 可测性问题如何破坏VC理论中ERM保证的标准证明？

主要发现

• 所有VC维为1的概念类均可赋予一种树序，使得每个概念在该序下均为初始段。
• 由于类的简单结构，任何来自VC维为1类的样本中的标签信息均可压缩为单个实例。
• 存在VC维为1的类，其在均匀分布下ERM会灾难性地失效，尽管VC维是有限的。
• 失效源于在勒贝格测度下集合{(x,y): x ≺ y}的不可测性，这使得标准VC证明中的双样本论证失效。
• 该例子依赖连续统假设，构造了[0,1]的良序，使得初始段为可数集，从而确保类中所有概念的勒贝格可测性。
• 对于所构造的ERM规则，在均匀分布下，泛化误差几乎必然为1，尽管训练误差为0。