[论文解读] Exploiting Structure Sparsity for Covariance-based Visual Representation

Jianjia Zhang, Lei Wang+2 more|arXiv (Cornell University)|Oct 27, 2016

Domain Adaptation and Few-Shot Learning参考文献 22被引用 4

一句话总结

该论文提出了一种基于稀疏逆协方差估计（SICE）的新颖协方差视觉表征方法，通过利用骨骼动作识别中特征结构的稀疏性，显著提升了现有最先进方法的性能。通过利用SICE的单调性，该方法在不同稀疏度水平下生成表征层次，并采用自适应学习方法整合这些表征，即使不使用非线性核技术，也能实现更优的准确率。

ABSTRACT

The past few years have witnessed increasing research interest on covariance-based feature representation. A variety of methods have been proposed to boost its efficacy, with some recent ones resorting to nonlinear kernel technique. Noting that the essence of this feature representation is to characterise the underlying structure of visual features, this paper argues that an equally, if not more, important approach to boosting its efficacy shall be to improve the quality of this characterisation. Following this idea, we propose to exploit the structure sparsity of visual features in skeletal human action recognition, and compute sparse inverse covariance estimate (SICE) as feature representation. We discuss the advantage of this new representation on dealing with small sample, high dimensionality, and modelling capability. Furthermore, utilising the monotonicity property of SICE, we efficiently generate a hierarchy of SICE matrices to characterise the structure of visual features at different sparsity levels, and two discriminative learning algorithms are then developed to adaptively integrate them to perform recognition. As demonstrated by extensive experiments, the proposed representation leads to significantly improved recognition performance over the state-of-the-art comparable methods. In particular, as a method fully based on linear technique, it is comparable or even better than those employing nonlinear kernel technique. This result well demonstrates the value of exploiting structure sparsity for covariance-based feature representation.

研究动机与目标

• 通过聚焦于对潜在特征结构的精确表征，而非仅关注鲁棒估计，来提升基于协方差的视觉表征质量。
• 解决骨骼动作识别和医学影像中常见的小样本、高维特征问题。
• 通过稀疏逆协方差估计（SICE）利用视觉特征中已知的结构稀疏性，特别是人体骨骼数据中的稀疏性。
• 开发自适应集成方法，将不同稀疏度水平下的多个SICE矩阵进行融合，以增强判别能力。
• 证明仅依赖线性方法并利用结构稀疏性，即可超越或匹配非线性核方法的性能。

提出的方法

• 提出SICE-RP，一种新型视觉表征方法，以稀疏逆协方差估计（SICE）为核心单元，更有效地建模特征结构，优于标准协方差矩阵。
• 利用SICE的单调性特性，高效生成多个稀疏度水平下的SICE矩阵层次，捕捉不同粒度的结构关系。
• 开发两种判别性学习算法——SICE-RP β 和 SICE-RP M，用于自适应集成层次化的SICE矩阵，以提升样本间的相似性度量性能。
• 采用基于组Lasso的优化框架计算SICE，促进稀疏性并降低在高维、小样本场景下的估计不稳定性。
• 将该表征方法应用于骨骼动作识别和基于fMRI的ADHD分类任务，验证其在不同领域的泛化能力。
• 采用多核学习策略（SICE-RP M）和β加权融合（SICE-RP β）来组合层次化的SICE矩阵，提升判别性能。

实验结果

研究问题

• RQ1 在小样本、高维设置下，利用视觉特征中的结构稀疏性是否能带来更鲁棒、更准确的基于协方差的表征？
• RQ2 SICE-RP在骨骼动作识别任务中是否优于标准协方差表征方法以及非线性核方法？
• RQ3 在不同稀疏度水平下，SICE矩阵的层次结构能否被有效集成以提升识别性能？
• RQ4 所提出方法是否可泛化至其他高维、小样本任务，如医学图像分析？
• RQ5 SICE矩阵的自适应集成是否能避免手动选择最优稀疏度水平，同时提升性能？

主要发现

• 在MSRC-12数据集上，SICE-RP达到93.3%的准确率，优于使用非线性核方法报告的最高93.1%结果。
• 在HDM05（100类）数据集上，SICE-RP β达到69.3%的准确率，超过MKL的66.5%和EMK的68.6%。
• 在ADHD-200 fMRI数据集中，SICE-RP使用SICE-RP M达到73.2%的准确率，超过69.6%的最先进结果，并优于Cov-RP（55.8%）和Ker-RP-RBF（低于60.0%）。
• 通过SICE-RP M和SICE-RP β对多个SICE矩阵的集成，在所有数据集上均持续提升性能，证明了层次化表征的优势。
• 尽管仅依赖线性技术，SICE-RP在性能上仍达到或优于非线性核方法，证明了结构稀疏性利用的价值。
• 该方法在低维、大样本任务中也表现出良好的泛化能力，证实其作为通用表征方法的鲁棒性与安全性。