[论文解读] Collaborative Representation for Classification, Sparse or Non-sparse?

Yang Wu, Jarich Vansteenberge+2 more|arXiv (Cornell University)|Mar 6, 2014

Face and Expression Recognition参考文献 16被引用 9

一句话总结

本文提出了一种新颖的评分函数，用于基于数据集大小、特征维度和判别分数，在稀疏（CRC$_{l_1}$）与非稀疏（CRC$_{l_2}$）协作表示之间进行预选择。此外，本文还引入了DL-NSCR，一种简单而高效的非稀疏表示字典学习方法，在多种数据集上表现出更高的准确性、鲁棒性和效率，优于当前最先进的模型。

ABSTRACT

Sparse representation based classification (SRC) has been proved to be a simple, effective and robust solution to face recognition. As it gets popular, doubts on the necessity of enforcing sparsity starts coming up, and primary experimental results showed that simply changing the $l_1$-norm based regularization to the computationally much more efficient $l_2$-norm based non-sparse version would lead to a similar or even better performance. However, that's not always the case. Given a new classification task, it's still unclear which regularization strategy (i.e., making the coefficients sparse or non-sparse) is a better choice without trying both for comparison. In this paper, we present as far as we know the first study on solving this issue, based on plenty of diverse classification experiments. We propose a scoring function for pre-selecting the regularization strategy using only the dataset size, the feature dimensionality and a discrimination score derived from a given feature representation. Moreover, we show that when dictionary learning is taking into account, non-sparse representation has a more significant superiority to sparse representation. This work is expected to enrich our understanding of sparse/non-sparse collaborative representation for classification and motivate further research activities.

研究动机与目标

• 为解决在给定分类任务中，稀疏表示与非稀疏表示哪一个更优这一尚未解决的问题。
• 开发一种可靠、基于数据的准则，用于在无需 exhaustive 比较的情况下预选择最优正则化策略。
• 探索字典学习在增强非稀疏协作表示方面的潜力，这是一个尚未被充分探索的方向。
• 证明非稀疏表示结合字典学习可在准确性、鲁棒性和效率方面超越稀疏和非稀疏基线模型。

提出的方法

• 提出一种分析性评分函数，仅利用数据集大小、特征维度和从特征表示中导出的判别分数，以预测更优的正则化策略。
• 引入DL-NSCR，一种用于非稀疏协作表示的字典学习模型，采用$l_2$-范数正则化，并通过具有理论收敛保证的交替优化方法实现。
• 采用交替优化框架实现DL-NSCR，其中表示系数和字典原子均具有闭式更新，确保快速收敛。
• 推导出DL-NSCR的计算复杂度为训练阶段的$\mathcal{O}((K+n)dKL + K^3L + K^2n)$，测试阶段的$\mathcal{O}((d+K+L)KL)$，显示出良好的可扩展性。
• 通过在13个多样化数据集上进行广泛实验验证该方法，与多个最先进的稀疏和非稀疏模型进行比较。

实验结果

研究问题

• RQ1 是否能够通过数据驱动的评分函数在无需模型比较的情况下可靠地预选出稀疏与非稀疏协作表示之间的更优策略？
• RQ2 结合字典学习的非稀疏协作表示是否在分类性能上优于现有的稀疏和非稀疏模型？
• RQ3 非稀疏协作表示的性能如何随特征维度和数据集大小而变化？
• RQ4 当应用字典学习时，稀疏与非稀疏模型之间是否存在显著的性能差距？

主要发现

• 所提出的评分函数在多样化数据集上成功预测了更优的正则化策略，预选准确率高。
• DL-NSCR在13个数据集中的12个上显著提升了CRC$_{l_2}$的性能，展现出强大的泛化能力和鲁棒性。
• 在5个分类任务中的4个上，DL-NSCR优于所有竞争模型，尤其在CRC$_{l_1}$原本表现更优的数据集中表现最高。
• 在所有字典学习模型中，DL-NSCR的测试时间最快，iLIDS-AA46数据集上每样本的中位测试时间仅为8.7毫秒，远低于第二快模型的260毫秒。
• 在iLIDS-MA23和iLIDS-MA46数据集上，尽管FDDL是专为稀疏表示设计的，DL-NSCR仍优于FDDL，后者是最相似的模型。
• 结果表明，结合字典学习的非稀疏协作表示不仅具有竞争力，而且在有效性、鲁棒性和效率方面通常优于稀疏表示。