[论文解读] Bounding the Fat Shattering Dimension of a Composition Function Class Built Using a Continuous Logic Connective

Hubert Haoyang Duan|arXiv (Cornell University)|May 23, 2011

Machine Learning and Algorithms参考文献 16被引用 7

一句话总结

本文为通过连续逻辑连接词（即一致连续函数 $u: [0,1]^k \to [0,1]$）对 $k$ 个基函数类进行复合所形成的复合函数类，在尺度 $\epsilon$ 下建立了 Fat Shattering 维度的定量界。利用 Mendelson-Vershynin 和 Talagrand 的结果，证明了该复合类的 Fat Shattering 维度在绝对常数因子内，由在尺度 $\delta(\epsilon,k)$ 下各独立类的 Fat Shattering 维度之和所界定，从而为在 PAC 框架下分析复杂函数类的可学习性提供了一种构造性方法。

ABSTRACT

We begin this report by describing the Probably Approximately Correct (PAC) model for learning a concept class, consisting of subsets of a domain, and a function class, consisting of functions from the domain to the unit interval. Two combinatorial parameters, the Vapnik-Chervonenkis (VC) dimension and its generalization, the Fat Shattering dimension of scale e, are explained and a few examples of their calculations are given with proofs. We then explain Sauer's Lemma, which involves the VC dimension and is used to prove the equivalence of a concept class being distribution-free PAC learnable and it having finite VC dimension. As the main new result of our research, we explore the construction of a new function class, obtained by forming compositions with a continuous logic connective, a uniformly continuous function from the unit hypercube to the unit interval, from a collection of function classes. Vidyasagar had proved that such a composition function class has finite Fat Shattering dimension of all scales if the classes in the original collection do; however, no estimates of the dimension were known. Using results by Mendelson-Vershynin and Talagrand, we bound the Fat Shattering dimension of scale e of this new function class in terms of the Fat Shattering dimensions of the collection's classes. We conclude this report by providing a few open questions and future research topics involving the PAC learning model.

研究动机与目标

• 通过 Fat Shattering 维度分析组合复杂性，将 PAC 可学习性的刻画从概念类扩展到函数类。
• 解决由连续逻辑复合构成的函数类的 Fat Shattering 维度缺乏定量界的问题。
• 以分量类的维度为基准，提供复合函数类 Fat Shattering 维度的构造性估计。
• 弥合统计学习理论中函数类的抽象可学习性准则与具体可计算的复杂性度量之间的差距。

提出的方法

• 通过连续逻辑连接词 $u: [0,1]^k \to [0,1]$ 将 $k$ 个基类 $\mathcal{F}_i$ 的函数进行复合，构造新的函数类 $u(\mathcal{F}_1, \ldots, \mathcal{F}_k)$。
• 应用 Mendelson-Vershynin 关于度量熵和覆盖数的结果，控制复合函数类的复杂性。
• 利用 Talagrand 对 Glivenko-Cantelli 类和打碎性的刻画，将 Fat Shattering 维度与函数类的度量熵联系起来。
• 推导出 $u(\mathcal{F}_1, \ldots, \mathcal{F}_k)$ 在尺度 $\epsilon$ 下的 Fat Shattering 维度的上界，该上界以在精细尺度 $\delta(\epsilon,k)$ 下各 $\mathcal{F}_i$ 的 Fat Shattering 维度表示。
• 证明该界在绝对常数因子内，与调整后尺度 $\delta(\epsilon,k)$ 下各独立 Fat Shattering 维度之和呈线性关系。

实验结果

研究问题

• RQ1 通过连续逻辑连接词复合而成的函数类的 Fat Shattering 维度，如何与各分量类的 Fat Shattering 维度相关？
• RQ2 能否推导出复合类 Fat Shattering 维度的显式上界，该上界以分量类维度表示？
• RQ3 该界对函数数量 $k$ 和尺度 $\epsilon$ 的依赖关系是否可量化？
• RQ4 在无分布的 PAC 设置下，通过连续连接词的复合是否会保持原始函数类的可学习性特征？

主要发现

• 复合函数类 $u(\mathcal{F}_1, \ldots, \mathcal{F}_k)$ 在尺度 $\epsilon$ 下的 Fat Shattering 维度，被一个常数倍的 $\mathcal{F}_1, \ldots, \mathcal{F}_k$ 在尺度 $\delta(\epsilon,k)$ 下的 Fat Shattering 维度之和所界定。
• 尺度 $\delta(\epsilon,k)$ 仅依赖于 $\epsilon$ 和 $k$，并由连接词 $u$ 的一致连续模导出。
• 该界通过 Mendelson-Vershynin 的度量熵估计和 Talagrand 关于 Glivenko-Cantelli 类的结构性结果建立。
• 该结果为利用连续逻辑运算从简单类构建复杂类的可学习性分析，提供了一种构造性方法。
• 该界在紧致性意义上是紧的，即保持了对 $\epsilon$ 和 $k$ 的渐近依赖关系，且不依赖于 $u$ 的具体形式，仅依赖于其一致连续性。