[论文解读] Compressive classification and the rare eclipse problem

Afonso S. Bandeira, Dustin G. Mixon+1 more|arXiv (Cornell University)|Apr 11, 2014

Sparse and Compressive Sensing Techniques被引用 9

一句话总结

本文提出了一种新型压缩分类框架，通过分析不相交的凸集（尤其是椭球体）在随机投影后何时仍保持线性可分。研究证明，当 $k$ 个椭球体之间具有足够的两两点间距时，其在 $O(\log k)$ 维空间上的投影仍保持不相交，从而实现远少于重建所需的测量数进行分类，理论边界基于高维凸几何与极锥分析推导得出。

ABSTRACT

This paper addresses the fundamental question of when convex sets remain disjoint after random projection. We provide an analysis using ideas from high-dimensional convex geometry. For ellipsoids, we provide a bound in terms of the distance between these ellipsoids and simple functions of their polynomial coefficients. As an application, this theorem provides bounds for compressive classification of convex sets. Rather than assuming that the data to be classified is sparse, our results show that the data can be acquired via very few measurements yet will remain linearly separable. We demonstrate the feasibility of this approach in the context of hyperspectral imaging.

研究动机与目标

• 确定最小维度 $M$，使得不相交的凸集在随机投影后仍以高概率保持线性可分。
• 分析椭球类在随机投影下保持不相交的条件，重点关注几何分离度与多项式系数。
• 为压缩分类提供理论基础，且不依赖于数据或分类器的稀疏性，与以往工作不同。
• 在高光谱成像中展示可行性，使用随机投影在最小测量数下保持线性可分性。
• 将所提方法与PCA进行比较，突出其在降维过程中保持分类性能方面的优势。

提出的方法

• 作者将分类问题建模为一个'稀有日食问题'——寻找最小的 $M$，使得不相交凸集的随机 $M$-维投影以高概率保持不相交。
• 他们运用高维凸几何工具，特别是极锥的几何性质，推导出投影凸包之间距离的边界。
• 对于椭球体，该方法基于其支撑矩阵的结构，推导出 $M$ 关于椭球体间距离及其多项式系数的边界。
• 分析过程涉及投影分离超平面，并利用三角不等式与Frobenius范数估计来界定投影误差。
• 关键步骤是使用极锥 $\mathcal{C}_{-}^{*}$ 来表征分离超平面，并推导出法向量投影后到极锥期望距离的边界。
• 该方法应用了测度集中性与高斯尾部概率边界，以估计投影后集合仍保持不相交的概率。

实验结果

研究问题

• RQ1 最小维度 $M$ 是多少，才能使两个不相交的凸集在随机投影后以高概率保持线性可分？
• RQ2 椭球体之间的几何分离度如何影响成功压缩分类所需的测量数？
• RQ3 在以往工作依赖于数据或分类器稀疏性的前提下，能否在压缩分类中不依赖稀疏性而保持线性可分性？
• RQ4 在降维过程中，所提方法与PCA相比，在保持分类性能方面表现如何？
• RQ5 极锥与投影误差在确保压缩后分离超平面仍存在方面起什么作用？

主要发现

• 本文证明，当 $k$ 个椭球体具有足够两两点间距时，其在 $O(\log k)$ 维空间上的投影仍保持不相交。
• 所需投影维数取决于椭球体之间的距离及其多项式系数，边界通过极锥分析推导得出。
• 该方法以高概率 $1 - \eta$ 保证线性可分，且不依赖于每类数据点的数量。
• 期望投影误差满足 $\mathbb{E}_{g}[\|g - \Pi_{\mathcal{C}_{-}^{*}}(g)\|_2] \leq \frac{\|A_1\|_F + \|A_2\|_F}{\zeta - (\|A_1 e\|_2 + \|A_2 e\|_2)} + \frac{1}{\sqrt{2\pi}}$，其中 $\zeta$ 是法向量方向上的分离度。
• 该方法在高光谱成像中被证明有效，表明分类可在远少于重建所需测量数下实现。
• 在某些模拟示例与真实数据中，该方法优于PCA，尤其当数据位于低维凸体而非子空间时。