[论文解读] Constructing a Non-Negative Low Rank and Sparse Graph with Data-Adaptive Features

Liansheng Zhuang, Shenghua Gao+4 more|arXiv (Cornell University)|Sep 3, 2014

Face and Expression Recognition参考文献 27被引用 3

一句话总结

本文提出了一种非负低秩与稀疏图（NNLRS-graph），通过联合学习数据嵌入与图结构构建，以捕捉全局低秩结构和局部稀疏邻域，在人脸识别数据集上优于当前最先进方法，表明特征与图结构的联合学习能显著提升分类准确率与鲁棒性。

ABSTRACT

This paper aims at constructing a good graph for discovering intrinsic data structures in a semi-supervised learning setting. Firstly, we propose to build a non-negative low-rank and sparse (referred to as NNLRS) graph for the given data representation. Specifically, the weights of edges in the graph are obtained by seeking a nonnegative low-rank and sparse matrix that represents each data sample as a linear combination of others. The so-obtained NNLRS-graph can capture both the global mixture of subspaces structure (by the low rankness) and the locally linear structure (by the sparseness) of the data, hence is both generative and discriminative. Secondly, as good features are extremely important for constructing a good graph, we propose to learn the data embedding matrix and construct the graph jointly within one framework, which is termed as NNLRS with embedded features (referred to as NNLRS-EF). Extensive experiments on three publicly available datasets demonstrate that the proposed method outperforms the state-of-the-art graph construction method by a large margin for both semi-supervised classification and discriminative analysis, which verifies the effectiveness of our proposed method.

研究动机与目标

• 解决现有图构建方法在捕捉高维数据中全局低秩结构与局部稀疏结构方面的局限性。
• 克服低秩表示中负权重的问题，因为负权重在亲和图中缺乏物理解释性。
• 通过联合学习最优数据嵌入与图结构，而非分别处理，以改进基于图的半监督学习。
• 开发一种图构建方法，兼具生成性（捕捉全局结构）与判别性（保持局部几何）。

提出的方法

• 将非负低秩与稀疏表示问题公式化，以学习一个边权重为其他数据点线性组合中非负系数的图。
• 施加非负性，确保每个数据点位于其邻居的凸包内，从而增强可解释性与物理意义。
• 通过稀疏性强制捕捉局部线性结构，通过低秩性建模数据中的全局子空间混合。
• 引入联合优化框架 NNLRS-EF，在单一目标函数中同时学习数据嵌入矩阵并构建 NNLRS-graph。
• 使用交替方向乘子法（ADMM）求解优化问题，以处理非凸、非光滑及非负约束。
• 采用参数化正则化，其中 β 平衡稀疏性与低秩性，λ 处理数据中的严重污染误差。

实验结果

研究问题

• RQ1 通过非负低秩与稀疏表示构建的图是否能比现有方法更好地捕捉全局与局部数据结构？
• RQ2 与顺序处理相比，数据嵌入与图结构的联合学习如何提升性能？
• RQ3 β 参数对图构建中稀疏性与低秩性之间权衡的影响是什么？
• RQ4 在图学习框架中整合数据嵌入是否能带来更高的分类准确率与鲁棒性？
• RQ5 在真实世界的半监督学习任务中，NNLRS-graph 对参数设置（如 β 与 λ）的敏感性如何？

主要发现

• 在 YaleB 与 PIE 人脸数据库上，NNLRS-graph 的分类误差率显著低于最先进方法，PIE 数据集在 50% 标注样本下误差率降至 5.52%。
• 通过 NNLRS-EF 实现的联合学习优于基线方法 PCA+NNLRS，表明端到端优化特征与图结构可获得更优性能。
• 参数敏感性分析表明，稀疏性（β）与低秩性均至关重要：当 β 过大（如 β=100）或过小（如 β=0）时性能下降，β=0.2 时取得最优结果。
• NNLRS-graph 在不同标注比例下保持强性能，PIE 数据集的误差率从 10% 标注时的 38.93% 稳步下降至 60% 标注时的 6.52%。
• 该方法对数据污染具有鲁棒性，当 λ 固定为 10 时性能稳定，表明能有效处理严重误差。
• 所提框架在半监督分类与判别性分析中均达到最先进性能，证实其在揭示数据内在结构方面的有效性。