[论文解读] Dimensionality Reduction with Subspace Structure Preservation

Devansh Arpit, Ifeoma Nwogu+1 more|arXiv (Cornell University)|Dec 7, 2014

Face and Expression Recognition参考文献 11被引用 5

一句话总结

本文提出了一种新颖的降维方法，通过使用恰好 2K 个投影向量，在理论上保持了多类数据中子空间的独立性。该方法确保每个类别在投影后仍位于一个独立的子空间中，通过保留主向量和正交投影平面的子空间结构，在人脸识别数据集上实现了最先进（SOTA）的分类准确率。

ABSTRACT

Modeling data as being sampled from a union of independent subspaces has been widely applied to a number of real world applications. However, dimensionality reduction approaches that theoretically preserve this independence assumption have not been well studied. Our key contribution is to show that $2K$ projection vectors are sufficient for the independence preservation of any $K$ class data sampled from a union of independent subspaces. It is this non-trivial observation that we use for designing our dimensionality reduction technique. In this paper, we propose a novel dimensionality reduction algorithm that theoretically preserves this structure for a given dataset. We support our theoretical analysis with empirical results on both synthetic and real world data achieving extit{state-of-the-art} results compared to popular dimensionality reduction techniques.

研究动机与目标

• 解决缺乏显式保持多类数据中子空间独立性的降维技术的问题。
• 从理论上证明 2K 个投影向量足以保持 K 个独立子空间的独立性。
• 设计一种高效且鲁棒的算法，即使在数据受损的情况下也能保持子空间结构。
• 在真实世界数据集上实证验证该方法，证明其在性能上优于 PCA、LDA 和随机投影。

提出的方法

• 该方法基于定理 1，表明对于任意两个不相交的子空间，存在一个二维投影平面，使得每个子空间在投影空间中坍缩为一条直线。
• 核心思想通过使用 2K 个正交投影向量扩展到 K 个子空间，确保每个类别子空间在投影后仍保持独立。
• 一种迭代算法通过与子空间之间的主向量对对齐来计算投影矩阵，以最大化子空间间的分离度。
• 通过引入基于稀疏编码的优化步骤，使算法对数据损坏具有鲁棒性。
• 投影矩阵的构建方式保留了子空间之间的角度结构，从而维持类间可分性。
• 采用随机化方法生成投影矩阵，通过多次运行确保稳定性，并报告平均准确率及标准差。

实验结果

研究问题

• RQ1 能否使用固定数量的投影向量来保持独立子空间并集中 K 个子空间的独立性？
• RQ2 是否可能构建一种显式保持子空间结构而非仅几何邻近性的降维方法？
• RQ3 保持 K 个类别子空间独立性所需的最少投影向量数量是多少？
• RQ4 所提方法在保持分类性能方面与 PCA、LDA 和随机投影等标准技术相比如何？
• RQ5 该方法在数据损坏和不同数据划分下是否仍能保持高准确率？

主要发现

• 在 Extended Yale B 数据集上，50%-50% 数据划分下，该方法实现了 98.06% ± 0.18 的准确率，显著优于 PCA（92.54%）、LDA（83.68%）和 Reg-LDA（95.77%）。
• 在同一数据集上，70%-30% 数据划分下，该方法实现了 99.45% ± 0.20 的准确率，全面超越所有基线方法，包括 RP（94.72% ± 0.66）。
• 在 AR 数据集上，该方法实现了 92.18% ± 0.08 的准确率，优于 PCA（85.00%）和 RP（84.76% ± 1.36），而 LDA 因类内协方差退化而无法应用。
• 在 CMU PIE 的一个包含 68 个类的子集上，该方法实现了 93.65% ± 0.08 的准确率，超过 PCA（87.76%）和 LDA（86.71%）。
• 在 CMU PIE 的一个更小的 10 个类子集上，该方法在低维空间（20D）下实现了 99.07% ± 0.09 的准确率，优于 PCA（97.06%）和 LDA（95.88%）。
• 该方法在所有数据集和数据划分下均持续实现最先进性能，展现出对不同数据规模和数据损坏的鲁棒性与可扩展性。