[论文解读] Constructing L2-Graph For Subspace Learning and Segmentation

Xi Peng, Lei Zhang+1 more|arXiv (Cornell University)|Sep 5, 2012

Advanced Computing and Algorithms被引用 12

一句话总结

本文提出 L2-Graph，一种用于子空间学习与分割的新方法，通过利用 ℓ1、ℓ2、ℓ∞ 和核范数基投影空间中的子空间内投影主导性（IPD）特性，构建稀疏相似性图。与现有最先进方法相比，L2-Graph 通过在表示空间而非输入空间中消除误差影响，在特征提取、图像聚类和运动分割任务中实现了更高的精度、更强的鲁棒性以及更高的效率。

ABSTRACT

Under the framework of graph-based learning, the key to robust subspace clustering and subspace learning is to obtain a good similarity graph that eliminates the effects of errors and retains only connections between the data points from the same subspace (i.e., intra-subspace data points). Recent works achieve good performance by modeling errors into their objective functions to remove the errors from the inputs. However, these approaches face the limitations that the structure of errors should be known prior and a complex convex problem must be solved. In this paper, we present a novel method to eliminate the effects of the errors from the projection space (representation) rather than from the input space. We first prove that $\ell_1$-, $\ell_2$-, $\ell_{\infty}$-, and nuclear-norm based linear projection spaces share the property of Intra-subspace Projection Dominance (IPD), i.e., the coefficients over intra-subspace data points are larger than those over inter-subspace data points. Based on this property, we introduce a method to construct a sparse similarity graph, called L2-Graph. The subspace clustering and subspace learning algorithms are developed upon L2-Graph. Experiments show that L2-Graph algorithms outperform the state-of-the-art methods for feature extraction, image clustering, and motion segmentation in terms of accuracy, robustness, and time efficiency.

研究动机与目标

• 解决现有基于图的子空间聚类方法存在的局限性，即需要事先了解误差结构并求解复杂的凸优化问题。
• 消除误差在表示空间而非输入空间中的影响，从而提升方法的鲁棒性。
• 提出一种高效且有效的相似性图构建方法，适用于子空间学习与分割任务。
• 证明 ℓ1-、ℓ2-、ℓ∞- 和核范数基投影均表现出子空间内投影主导性（IPD），从而构建统一的理论框架。

提出的方法

• 本文证明了 ℓ1-、ℓ2-、ℓ∞- 和核范数基线性投影均表现出子空间内投影主导性（IPD），即同一子空间内数据点的系数大于不同子空间点的系数。
• 基于 IPD 特性，作者设计了一种方法，构建一种稀疏相似性图，称为 L2-Graph，其强调同一子空间内数据点之间的连接。
• L2-Graph 直接从投影空间构建，避免了在输入空间中显式建模误差的需要。
• 该方法通过依赖投影空间中固有的结构主导性，避免了解决复杂的凸优化问题。
• 随后在 L2-Graph 基础上开发了子空间聚类与学习算法，实现了高效且鲁棒的性能。
• 该方法可推广至不同范数基投影，将多种正则化策略统一于同一理论基础之上。

实验结果

研究问题

• RQ1 子空间内投影主导性（IPD）特性是否可在包括 ℓ1、ℓ2、ℓ∞ 和核范数在内的多种范数基投影空间中建立？
• RQ2 能否利用 IPD 构建一种无需事先了解误差结构的鲁棒稀疏相似性图？
• RQ3 在投影空间而非输入空间中构建相似性图，是否能提升子空间聚类与学习任务的性能？
• RQ4 所提出的 L2-Graph 方法在精度、鲁棒性与效率方面与现有最先进子空间聚类与分割技术相比如何？
• RQ5 L2-Graph 框架能否有效应用于图像聚类与运动分割等实际任务？

主要发现

• L2-Graph 方法在特征提取、图像聚类与运动分割任务中均实现了高于现有最先进方法的精度。
• 该方法通过在投影空间中运行，自然抑制了误差影响，表现出对噪声和误差的更强鲁棒性。
• L2-Graph 通过避免复杂的凸优化，实现了更优的时间效率，优于许多先前方法。
• IPD 特性在 ℓ1、ℓ2、ℓ∞ 和核范数基投影中均通过实证验证，证实其普遍适用性。
• 在基准数据集上，该方法在聚类精度与计算效率方面均优于现有技术。
• 该框架在多种应用中表现有效，包括图像聚类与运动分割，证实了其实际应用价值。