[论文解读] Correlation Adaptive Subspace Segmentation by Trace Lasso

Canyi Lu, Jiashi Feng+2 more|arXiv (Cornell University)|Jan 18, 2015

Sparse and Compressive Sensing Techniques参考文献 19被引用 4

一句话总结

该论文提出相关性自适应子空间分割（CASS），一种新颖方法，利用迹Lasso同时在亲和矩阵学习中强制实现稀疏性和分组效应。通过自适应平衡ℓ¹与ℓ²正则化，CASS生成了块对角亲和矩阵，在Extended Yale B和MNIST等基准数据集上优于SSC、LRR和LSR，MNIST上聚类准确率达到73.80%，5人面部聚类准确率达94.03%。

ABSTRACT

This paper studies the subspace segmentation problem. Given a set of data points drawn from a union of subspaces, the goal is to partition them into their underlying subspaces they were drawn from. The spectral clustering method is used as the framework. It requires to find an affinity matrix which is close to block diagonal, with nonzero entries corresponding to the data point pairs from the same subspace. In this work, we argue that both sparsity and the grouping effect are important for subspace segmentation. A sparse affinity matrix tends to be block diagonal, with less connections between data points from different subspaces. The grouping effect ensures that the highly corrected data which are usually from the same subspace can be grouped together. Sparse Subspace Clustering (SSC), by using $\ell^1$-minimization, encourages sparsity for data selection, but it lacks of the grouping effect. On the contrary, Low-Rank Representation (LRR), by rank minimization, and Least Squares Regression (LSR), by $\ell^2$-regularization, exhibit strong grouping effect, but they are short in subset selection. Thus the obtained affinity matrix is usually very sparse by SSC, yet very dense by LRR and LSR. In this work, we propose the Correlation Adaptive Subspace Segmentation (CASS) method by using trace Lasso. CASS is a data correlation dependent method which simultaneously performs automatic data selection and groups correlated data together. It can be regarded as a method which adaptively balances SSC and LSR. Both theoretical and experimental results show the effectiveness of CASS.

研究动机与目标

• 为解决现有子空间分割方法同时缺乏稀疏性与分组效应的局限性。
• 开发一种基于数据相关性自适应平衡稀疏表示与组选择的方法。
• 通过促进块对角结构，改进谱聚类中的亲和矩阵构建。
• 在具有复杂子空间结构的真实世界数据上，实现优于SSC、LRR和LSR的分割准确率。
• 为迹Lasso在子空间学习中的分组效应提供理论与实证支持。

提出的方法

• CASS采用迹Lasso正则化，结合ℓ¹-范数实现稀疏性与ℓ²-范数实现分组性，以学习亲和矩阵。
• 该方法求解一个凸优化问题，对表示矩阵施加迹Lasso惩罚，以同时促进稀疏性与基于相关性的分组性。
• 通过交替方向乘子法（ADMM）框架进行优化，确保收敛性与可扩展性。
• 从解中获得的亲和矩阵近似为块对角形式，反映真实的子空间隶属关系。
• 该方法设计为相关性自适应，能根据数据结构自动调整稀疏性与分组性的平衡。
• 该方法应用于谱聚类框架中，使用学习得到的亲和矩阵进行最终分割。

实验结果

研究问题

• RQ1 能否通过同时强制实现稀疏性与分组效应来提升子空间分割性能？
• RQ2 迹Lasso正则化如何平衡ℓ¹与ℓ²惩罚以增强亲和矩阵结构？
• RQ3 所提出的CASS方法是否在真实世界数据集上实现了优于SSC、LRR和LSR的分割准确率？
• RQ4 迹Lasso的分组效应在子空间聚类中是否具有理论依据且可被实证观察到？
• RQ5 CASS能否在标签数据有限的半监督学习设置中有效应用？

主要发现

• 在Extended Yale B数据库上，CASS在5人面部聚类中达到94.03%的准确率，优于LSR及其他基线方法。
• 在8人与10人聚类中，CASS分别达到91.41%与81.88%的准确率，显著优于SSC与LRR。
• 在MNIST数据库上，CASS达到73.80%的聚类准确率，为所有对比方法中的最高值，尽管数据的子空间拟合不完美。
• CASS学习到的亲和矩阵在视觉与定量上均更接近块对角结构，证实了其结构学习能力的提升。
• 在半监督学习中，CASS在所有训练数据设置下均达到超过90%的分类准确率，展示了其在聚类之外的鲁棒性与实用性。
• 理论分析证实，当子空间相互独立时，CASS可恢复真实分割，验证了其一致性。