[论文解读] A Theoretical Analysis of Noisy Sparse Subspace Clustering on Dimensionality-Reduced Data

Yining Wang, Yu-Xiang Wang+1 more|arXiv (Cornell University)|Oct 24, 2016

Sparse and Compressive Sensing Techniques参考文献 44被引用 13

一句话总结

本文在完全确定性模型下，对降维数据上的稀疏子空间聚类（SSC）进行了理论分析，建立了使用多种降维技术（包括高斯随机投影、FJLT、压缩感知和均匀采样）时SSC的可证明成功条件，同时保持聚类性能。此外，还为添加噪声投影的差分隐私SSC提供了实用性和隐私保障。

ABSTRACT

Subspace clustering is the problem of partitioning unlabeled data points into a number of clusters so that data points within one cluster lie approximately on a low-dimensional linear subspace. In many practical scenarios, the dimensionality of data points to be clustered are compressed due to constraints of measurement, computation or privacy. In this paper, we study the theoretical properties of a popular subspace clustering algorithm named sparse subspace clustering (SSC) and establish formal success conditions of SSC on dimensionality-reduced data. Our analysis applies to the most general fully deterministic model where both underlying subspaces and data points within each subspace are deterministically positioned, and also a wide range of dimensionality reduction techniques (e.g., Gaussian random projection, uniform subsampling, sketching) that fall into a subspace embedding framework (Meng & Mahoney, 2013; Avron et al., 2014). Finally, we apply our analysis to a differentially private SSC algorithm and established both privacy and utility guarantees of the proposed method.

研究动机与目标

• 建立稀疏子空间聚类（SSC）在经过降维处理的数据上成功运行的正式条件。
• 在子空间和数据点被确定性定位而非随机生成的完全确定性模型下分析SSC。
• 将理论保障扩展到广泛的降维方法，包括高斯随机投影、FJLT、压缩感知和均匀特征采样。
• 为通过添加噪声投影实现的差分隐私SSC变体提供实用性和隐私性分析。
• 证明当投影维度与子空间固有秩的低次多项式同阶时，SSC在低维空间中仍能保持聚类性能。

提出的方法

• 提出一个理论框架，使用子空间和数据点的确定性模型，分析SSC在降维数据上的表现。
• 应用子空间嵌入理论（Meng & Mahoney, 2013; Avron et al., 2014），分析降维对SSC恢复正确聚类结构能力的影响。
• 使用矩阵集中不等式（如非交换Bernstein不等式、矩阵高斯级数）来界定随机投影引起的扰动矩阵的谱范数。
• 推导出投影子空间投影算子与缩放单位矩阵之间偏差的界，确保投影下子空间的几何结构得以保持。
• 通过向随机投影中添加高斯噪声，引入一种差分隐私SSC变体，并分析其隐私与实用性的权衡。
• 证明在高概率下，投影后的数据能保持SSC成功所必需的自表示结构。

实验结果

研究问题

• RQ1 在完全确定性模型下，稀疏子空间聚类（SSC）在降维数据上何时可被证明成功？
• RQ2 当数据通过高斯随机投影、FJLT或压缩感知进行投影时，SSC的性能如何退化或保持鲁棒？
• RQ3 均匀特征采样（如用于缺失数据）能否保持SSC所需的聚类结构？
• RQ4 通过添加噪声的随机投影将差分隐私应用于SSC时，其隐私-实用性权衡如何？
• RQ5 在子空间固有秩的表达下，SSC成功所需的最小投影维度是多少？

主要发现

• 当投影维度与子空间最大固有秩的低次多项式同阶时，SSC在降维数据上可成功，即 $ p = O(\text{poly}(r_{\text{max}})\text{polylog}(N)) $。
• 对于均匀特征采样（缺失数据），若数据满足非一致性条件且采样率足够高，则SSC可成功，此时 $ p = O(\text{poly}(r_{\text{max}})\text{polylog}(d)) $。
• 使用FJLT或压缩感知进行降维时，只要投影维度相对于子空间秩足够大，SSC的聚类结构可高概率得以保持。
• 所提出的差分隐私SSC变体通过适当校准的高斯噪声可实现 $ \rho $-差分隐私，且实用性能损失受子空间非一致性与投影维度的约束。
• 以高概率 $ 1 - \frac{\rho}{2} $，投影子空间投影算子满足 $ \norm{\bU_\bOmega\bU_\bOmega^\top - \frac{p}{d}\bI} \to 0 $，随着 $ p $ 增大，确保结构保持。
• 分析表明，偏差矩阵的谱范数被限制在 $ O\big(\frac{r'\rho_0}{d}\big) $ 以内，其中 $ r' $ 为子空间秩，$ \rho_0 $ 为非一致性参数，从而确保自表示的稳定恢复。