[论文解读] Subspace Clustering by Block Diagonal Representation

Canyi Lu, Jiashi Feng+3 more|arXiv (Cornell University)|May 23, 2018

Sparse and Compressive Sensing Techniques参考文献 42被引用 5

一句话总结

本文提出了一种新型子空间聚类方法——块对角表示（BDR），通过一种新型的k-块对角正则化项，直接在表示矩阵中强制实现块对角结构。与以往通过稀疏性或低秩约束间接促进块对角结构的方法不同，BDR显式建模了期望的聚类结构，从而在真实数据集（如MNIST和Extended Yale B）上实现了更高的聚类准确率和效率。

ABSTRACT

This paper studies the subspace clustering problem. Given some data points approximately drawn from a union of subspaces, the goal is to group these data points into their underlying subspaces. Many subspace clustering methods have been proposed and among which sparse subspace clustering and low-rank representation are two representative ones. Despite the different motivations, we observe that many existing methods own the common block diagonal property, which possibly leads to correct clustering, yet with their proofs given case by case. In this work, we consider a general formulation and provide a unified theoretical guarantee of the block diagonal property. The block diagonal property of many existing methods falls into our special case. Second, we observe that many existing methods approximate the block diagonal representation matrix by using different structure priors, e.g., sparsity and low-rankness, which are indirect. We propose the first block diagonal matrix induced regularizer for directly pursuing the block diagonal matrix. With this regularizer, we solve the subspace clustering problem by Block Diagonal Representation (BDR), which uses the block diagonal structure prior. The BDR model is nonconvex and we propose an alternating minimization solver and prove its convergence. Experiments on real datasets demonstrate the effectiveness of BDR.

研究动机与目标

• 为多种现有子空间聚类方法中观察到的块对角性质提供统一的理论保证。
• 解决通过稀疏性或低秩性等间接正则化手段在促进块对角结构方面的局限性。
• 提出首个直接鼓励块对角表示的k-块对角矩阵诱导正则化项。
• 为BDR模型开发一种具有收敛性保证的非凸优化框架。
• 在真实世界子空间聚类基准上展示BDR的有效性与高效性。

提出的方法

• 提出一种新型的k-块对角正则化项，直接在表示矩阵中强制实现块对角结构。
• 引入块对角表示（BDR）模型，该模型是一个结合了新正则化项的非凸优化问题。
• 开发一种交替最小化算法来求解BDR模型，并在较弱条件下证明其收敛性。
• 在学习到的块对角表示上使用谱聚类进行最终聚类。
• 采用一种非凸惩罚函数，通过分块矩阵结构促进结构化稀疏性。
• 通过李雅普诺夫函数方法分析求解器的收敛性，证明目标函数值单调递减。

实验结果

研究问题

• RQ1 能否构建一个统一的理论框架，解释多种子空间聚类方法中观察到的块对角性质？
• RQ2 是否可以直接在表示矩阵中促进块对角结构，而非依赖于稀疏性或低秩性等间接先验？
• RQ3 专用的k-块对角正则化项对聚类性能和计算效率有何影响？
• RQ4 能否在具有理论收敛性保证的前提下高效求解非凸BDR模型？
• RQ5 BDR与S3C、LRR、SSC等最先进方法相比，在聚类准确率和运行时间方面表现如何？

主要发现

• 在所有测试的样本数下，BDR-B和BDR-Z在MNIST数据集上均达到最低的聚类误差，优于SSC、LRR、S3C和SCC。
• BDR-B的计算时间显著低于SSC和S3C，接近LSR的效率，同时保持了更优的准确率。
• 在5类MNIST子集上，算法1的目标函数值随迭代次数单调递减，验证了收敛性分析。
• 所提出的k-块对角正则化项使块对角结构得以直接建模，从而实现更准确、更鲁棒的聚类。
• 在无需严格假设条件下证明了交替最小化求解器的收敛性，验证了其实际可靠性。
• 该方法在真实数据集（包括Extended Yale B和MNIST）上表现出强大的泛化能力，性能持续提升。