[论文解读] Ensemble Sparse Models for Image Analysis

Karthikeyan Natesan Ramamurthy, Jayaraman J. Thiagarajan+2 more|arXiv (Cornell University)|Feb 27, 2013

Sparse and Compressive Sensing Techniques参考文献 43被引用 6

一句话总结

本文提出了一种集成稀疏模型，通过组合多个弱稀疏表示来提升图像分析任务的性能。通过采用类似提升（boosting）的逐次字典学习方法，或使用训练样本的随机子集，该集成方法在图像恢复和聚类任务中均优于单字典方法，在大规模数据集上显著提升了准确率和计算效率。

ABSTRACT

Sparse representations with learned dictionaries have been successful in several image analysis applications. In this paper, we propose and analyze the framework of ensemble sparse models, and demonstrate their utility in image restoration and unsupervised clustering. The proposed ensemble model approximates the data as a linear combination of approximations from multiple extit{weak} sparse models. Theoretical analysis of the ensemble model reveals that even in the worst-case, the ensemble can perform better than any of its constituent individual models. The dictionaries corresponding to the individual sparse models are obtained using either random example selection or boosted approaches. Boosted approaches learn one dictionary per round such that the dictionary learned in a particular round is optimized for the training examples having high reconstruction error in the previous round. Results with compressed recovery show that the ensemble representations lead to a better performance compared to using a single dictionary obtained with the conventional alternating minimization approach. The proposed ensemble models are also used for single image superresolution, and we show that they perform comparably to the recent approaches. In unsupervised clustering, experiments show that the proposed model performs better than baseline approaches in several standard datasets.

研究动机与目标

• 通过提出一种集成框架，解决单字典稀疏编码在图像恢复与聚类任务中的局限性。
• 通过组合多个稀疏模型而非依赖单一最优字典，提升近似精度与鲁棒性。
• 通过采用高效、贪心的字典学习与基于样本的字典，降低大规模应用中的计算复杂度。
• 在监督（图像恢复）与无监督（聚类）图像分析任务中，验证集成模型的有效性。
• 提供理论依据，证明集成模型即使在最坏情况下，也能优于任一组成模型。

提出的方法

• 将集成模型表述为L个独立稀疏模型近似结果的线性组合，每个模型使用不同的字典 $\mathbf{D}_l$。
• 采用类似提升的方法逐次学习字典，使后续字典针对前序模型中重建误差较高的训练样本进行优化。
• 作为替代方法，采用训练样本的随机子集生成弱字典，以确保集成中字典的多样性。
• 在聚类任务中，利用多个模型累积的系数向量构建基于稀疏表示的相似性矩阵，支持谱聚类。
• 对每个模型采用 $\ell_1$-正则化稀疏编码以强制实现稀疏性，最终表示由各独立系数向量的加权组合构成。
• 使用 $|\mathbf{A}^T\mathbf{A}|$ 或 $|\bar{\mathbf{A}}| + |\bar{\mathbf{A}}^T|$ 计算谱聚类的相似性矩阵。

实验结果

研究问题

• RQ1 组合多个弱稀疏模型是否能实现比使用单一学习字典更优的数据近似？
• RQ2 在压缩感知与图像恢复任务中，集成稀疏模型相较于传统交替优化（Alt-Opt）方法的性能如何？
• RQ3 在单图像超分辨率任务中，集成模型是否能与近期最先进方法相媲美？
• RQ4 与 $\ell_1$-图方法相比，集成框架是否能在大规模数据集上提升聚类准确率并降低计算成本？
• RQ5 集成性能的理论保证是什么，特别是与集成中表现最佳的单个模型相比？

主要发现

• 集成模型在图像恢复与聚类任务中始终优于单个稀疏模型，且理论上保证其性能不会差于任一组成模型，即使在最坏情况下亦成立。
• 在压缩感知恢复任务中，所提出的集成方法在重建精度上优于使用单一字典的基线 Alt-Opt 方法。
• 在单图像超分辨率任务中，集成模型表现与近期最先进方法相当，展现出强大的实际应用潜力。
• 在无监督聚类任务中，BoostKM 与 BoostEx 方法在 USPS 数据集上达到最高准确率与 NMI，其中 BoostKM 准确率达 90.96%，NMI 达 82.78。
• 集成方法显著降低了计算时间，尤其在高维数据上表现突出：在 USPS 数据集上，BoostKM 将聚类时间从 $\ell_1$ 图方法的 411.85 秒减少至 83.58 秒。
• RandExAv 与 BoostEx 方法在所有标准数据集上表现与 $\ell_1$ 图方法相当或更优，多数情况下实现了更高的 NMI 与准确率。