[论文解读] A geometric approach to sample compression

Benjamin I. P. Rubinstein, J Rubinstein|arXiv (Cornell University)|Jan 1, 2012

Advanced Combinatorial Mathematics参考文献 29被引用 33

一句话总结

本文提出了一种基于几何的样本压缩方法，通过证明有限最大概念类可在欧几里得空间或双曲空间中表示为分段线性（PL）超平面排列，从而实现压缩。该方法引入了一种基于立方复形上Pachner变换的扫掠机制，构造出大小等于VC维的无标签压缩方案，解决了Kuzmin与Warmuth的猜想，并证明了某些最大类无法以有界VC维增长的方式嵌入到最大类中。

ABSTRACT

The Sample Compression Conjecture of Littlestone & Warmuth has remained unsolved for a quarter century. While maximum classes (concept classes meeting Sauer's Lemma with equality) can be compressed, the compression of general concept classes reduces to compressing maximal classes (classes that cannot be expanded without increasing VC dimension). Two promising ways forward are: embedding maximal classes into maximum classes with at most a polynomial increase to VC dimension, and compression via operating on geometric representations. This paper presents positive results on the latter approach and a first negative result on the former, through a systematic investigation of finite maximum classes. Simple arrangements of hyperplanes in hyperbolic space are shown to represent maximum classes, generalizing the corresponding Euclidean result. We show that sweeping a generic hyperplane across such arrangements forms an unlabeled compression scheme of size VC dimension and corresponds to a special case of peeling the one-inclusion graph, resolving a recent conjecture of Kuzmin & Warmuth. A bijection between finite maximum classes and certain arrangements of piecewise-linear (PL) hyperplanes in either a ball or Euclidean space is established. Finally we show that d-maximum classes corresponding to PL-hyperplane arrangements in Rd have cubical complexes homeomorphic to a d-ball, or equivalently complexes that are manifolds with boundary. A main result is that PL arrangements can be swept by a moving hyperplane to unlabeled d-compress any finite maximum class, forming a peeling scheme as conjectured by Kuzmin & Warmuth. A corollary is that some d-maximal classes cannot be embedded into any maximum class of VC-dimension d+k, for any constant k. The construction of the PL sweeping involves Pachner moves on the one-inclusion graph, corresponding to moves of a hyperplane across the intersection of d other hyperplanes. This extends the well known Pachner moves for triangulations to cubical complexes.

研究动机与目标

• 研究最大概念类——样本压缩猜想的核心对象——是否能通过几何表示实现压缩。
• 确定有限最大类是否可嵌入到VC维仅受有界增长的更大最大类中。
• 建立一种基于PL排列中扫掠超平面的无标签样本压缩方案的几何构造方法。
• 证明某些d-最大类无法嵌入到任何VC维为d+k（k为常数）的最大类中。
• 通过最大类的一一包含图上的Pachner变换，形式化一种几何剥层过程。

提出的方法

• 将有限最大概念类表示为d-球或欧几里得空间中的分段线性（PL）超平面排列。
• 通过在PL排列上扫掠一个超平面，模拟一一包含图上的顺序剥层过程。
• 通过Pachner变换建模扫掠过程，其对应于将一个超平面移动穿过d个其他超平面的交点。
• 在有限最大类与Rd中特定PL超平面排列之间建立双射关系。
• 证明所得的立方复形同胚于d-球，从而表明其为具有边界的流形。
• 应用几何扫掠过程，构造出大小等于VC维的无标签压缩方案。

实验结果

研究问题

• RQ1 有限最大类是否可几何地表示为欧几里得或双曲空间中的PL超平面排列？
• RQ2 在这些排列上进行的几何扫掠过程是否能产生大小等于VC维的无标签压缩方案？
• RQ3 每个d-最大类是否都可嵌入到VC维为d+k（k为某常数）的最大类中？
• RQ4 最大类的一一包含图是否与同胚于d-球的立方复形存在对应关系？
• RQ5 一一包含图上的Pachner变换是否对应于几何表示中有效的超平面扫掠？

主要发现

• 有限最大类与d-球或欧几里得空间中特定PL超平面排列之间存在双射关系。
• 与d-最大类相关的立方复形同胚于d-球，证实其为具有边界的流形。
• 在PL排列上进行的扫掠超平面可产生大小等于VC维的无标签压缩方案，从而证实了Kuzmin与Warmuth的猜想。
• 扫掠过程对应于一一包含图上的Pachner变换，将这些变换扩展至立方复形。
• 某些d-最大类无法嵌入到任何VC维为d+k（k为常数）的最大类中，确立了基于嵌入的压缩的根本限制。
• 通过PL超平面排列的几何方法，为有限最大类的无标签压缩提供了一种构造性方法。