[论文解读] Is margin preserved after random projection?

Qinfeng Shi, Chunhua Shen+2 more|arXiv (Cornell University)|Jun 18, 2012

Sparse and Compressive Sensing Techniques参考文献 20被引用 34

一句话总结

本文研究了在二分类和多分类学习中，经过常见的降维技术——随机投影后，分类边界（margin）是否得以保持。论文推导了边界保持的理论条件，并提供了边界扭曲程度的界，表明当投影维数相对于数据内在维数足够大时，以高概率可保持边界稳定。

ABSTRACT

Random projections have been applied in many machine learning algorithms. However, whether margin is preserved after random projection is non-trivial and not well studied. In this paper we analyse margin distortion after random projection, and give the conditions of margin preservation for binary classification problems. We also extend our analysis to margin for multiclass problems, and provide theoretical bounds on multiclass margin on the projected data.

研究动机与目标

• 研究随机投影这一广泛使用的降维技术在二分类与多分类学习中是否保持分类边界。
• 推导随机投影后边界保持稳定的理论条件。
• 将边界分析从二分类问题扩展至多分类问题。
• 提供投影空间中边界扭曲程度的理论界。
• 量化投影维数与边界保持性之间的关系。

提出的方法

• 作者利用测度集中与Johnson-Lindenstrauss型论证，分析随机投影矩阵作用于数据后边界发生的畸变。
• 推导出投影维数的充分条件，使得边界以高概率保持不变。
• 针对多分类问题，将边界定义扩展至多类别，并分析类别间边界的畸变。
• 分析依赖于概率界，特别是利用高斯宽度与覆盖数方法控制边界畸变。
• 在数据分布与投影维数满足特定假设的前提下，建立投影后边界与原始边界的比值的理论界。
• 该框架通过理论分析而非实验验证，重点在于推导可证明的保证。

实验结果

研究问题

• RQ1 在二分类中，随机投影后边界在何种条件下得以保持？
• RQ2 投影维数如何影响高维数据中的边界畸变？
• RQ3 理论上的边界保持保证能否推广至多分类问题？
• RQ4 投影后边界与原始边界的比值的理论界是什么？
• RQ5 数据的内在维数如何影响随机投影下的边界保持性？

主要发现

• 当投影维数足够大时，边界以高概率保持不变，具体而言，其量级与数据点数量的对数相当。
• 在二分类中，论文证明在较弱假设下，投影后边界与原始边界的比值以高概率远离零。
• 在多分类问题中，论文推导了类别间边界畸变的界，表明在适当的投影维数下，类间的相对边界得以保持。
• 理论界依赖于数据集的高斯宽度与覆盖数，二者量化了数据流形的复杂性。
• 结果表明，随机投影可作为基于边界的学习算法中可靠的预处理步骤，而不会显著降低泛化性能。
• 分析证实，随机投影保持了与边界最大化相关的几何结构，支持其在大规模学习中的应用。