[论文解读] Learning convex polytopes with margin

Lee-Ad Gottlieb, Eran Kaufman+2 more|arXiv (Cornell University)|May 24, 2018

Machine Learning and Algorithms参考文献 27被引用 6

一句话总结

本文提出了一种多项式时间算法，通过构造一个一致的多面体作为约 $ t "log t $ 个半空间的交集，实现了带间隔的凸多面体学习，其中 $ t $ 是最优多面体中半空间的数量。该方法在保持样本和运行时间效率的同时，引入并分析了超越超平面的几何间隔泛化。

ABSTRACT

We present an improved algorithm for properly learning convex polytopes in the realizable PAC setting from data with a margin. Our learning algorithm constructs a consistent polytope as an intersection of about $t \log t$ halfspaces with margins in time polynomial in $t$ (where $t$ is the number of halfspaces forming an optimal polytope). We also identify distinct generalizations of the notion of margin from hyperplanes to polytopes and investigate how they relate geometrically; this result may be of interest beyond the learning setting.

研究动机与目标

• 在可实现的 PAC 设置下，开发一种高效且正确的凸多面体学习算法，同时考虑间隔。
• 在保持间隔约束的同时，减少表示多面体所需的半空间数量。
• 将间隔概念从超平面推广到多面体，并分析其几何影响。
• 实现运行时间和样本复杂度在 $ t $（最优多面体的大小）上的多项式时间。

提出的方法

• 该算法将多面体构造为 $ O(t \log t) $ 个与训练数据一致的半空间的交集。
• 确保每个半空间都对间隔有贡献，将间隔概念从线性分类器推广到多面体边界。
• 利用凸集的几何与组合性质，在 $ t $ 的多项式时间内完成构造。
• 采用一致假设选择策略，确保所有半空间中均保持间隔。
• 引入并分析了多面体间隔的多种几何变体，如到边界的距离和基于支撑函数的度量。

实验结果

研究问题

• RQ1 如何通过少于最优大小的半空间数量，高效学习带间隔的凸多面体？
• RQ2 当从超平面推广到多面体时，有哪些有意义的间隔几何泛化？
• RQ3 多面体的不同间隔定义在几何上如何关联，又如何影响学习性能？
• RQ4 我们能否在保持正确学习的前提下，实现带间隔的多面体多项式时间学习？

主要发现

• 该算法仅使用 $ O(t \log t) $ 个半空间即可构造出一致的多面体，与朴素方法相比显著减少了所需数量。
• 该算法的运行时间在 $ t $（最优多面体中半空间的数量）上为多项式时间。
• 本文识别并分析了多面体间隔的多种几何泛化，揭示了它们之间的相互关系。
• 所提出的间隔泛化提供了超越超平面间隔的更丰富的几何理解，其应用不仅限于学习理论。