[论文解读] Deep Semantic Dictionary Learning for Multi-label Image Classification

Fengtao Zhou, Sheng Huang+1 more|arXiv (Cornell University)|Dec 23, 2020

Advanced Image and Video Retrieval Techniques参考文献 43被引用 13

一句话总结

本文提出深度语义字典学习（DSDL），一种端到端模型，通过深度字典学习统一标签、语义和视觉空间，用于多标签图像分类。通过使用自编码器从类别级语义生成语义字典，并利用标签嵌入表示CNN特征，DSDL在Pascal VOC和COCO基准上实现了最先进性能，mAP相比基于ResNet101的模型最高提升4.6%。

ABSTRACT

Compared with single-label image classification, multi-label image classification is more practical and challenging. Some recent studies attempted to leverage the semantic information of categories for improving multi-label image classification performance. However, these semantic-based methods only take semantic information as type of complements for visual representation without further exploitation. In this paper, we present an innovative path towards the solution of the multi-label image classification which considers it as a dictionary learning task. A novel end-to-end model named Deep Semantic Dictionary Learning (DSDL) is designed. In DSDL, an auto-encoder is applied to generate the semantic dictionary from class-level semantics and then such dictionary is utilized for representing the visual features extracted by Convolutional Neural Network (CNN) with label embeddings. The DSDL provides a simple but elegant way to exploit and reconcile the label, semantic and visual spaces simultaneously via conducting the dictionary learning among them. Moreover, inspired by iterative optimization of traditional dictionary learning, we further devise a novel training strategy named Alternately Parameters Update Strategy (APUS) for optimizing DSDL, which alternately optimizes the representation coefficients and the semantic dictionary in forward and backward propagation. Extensive experimental results on three popular benchmarks demonstrate that our method achieves promising performances in comparison with the state-of-the-arts. Our codes and models have been released at {https://github.com/ZFT-CQU/DSDL}.

研究动机与目标

• 为解决多标签图像分类中的挑战，即图像中包含多个具有复杂空间排列和相互作用的对象。
• 克服现有方法仅将语义信息视为对视觉特征的补充，而未建模标签、语义和视觉空间之间相关性的局限。
• 开发一种深度学习框架，通过端到端字典学习，同时利用并调和标签、语义和视觉表示。
• 提出一种新颖的训练策略，在反向传播过程中交替优化表示系数和语义字典。

提出的方法

• DSDL将多标签图像分类建模为字典学习任务，利用自编码器从类别级语义学习语义字典。
• 通过使用学习到的语义字典进行字典查询，将CNN提取的视觉特征表示为稀疏系数。
• 通过最小化结合了重建项和分类项的联合损失函数，联合优化视觉重建和标签预测。
• 提出一种新颖的交替参数更新策略（APUS），在前向传播中更新表示系数，在反向传播中优化语义字典。
• 语义字典从词嵌入初始化，并在训练过程中端到端优化，以与视觉特征空间对齐。
• 该方法将字典学习整合到反向传播过程中，使语义字典的学习隐式地融入参数更新。

实验结果

研究问题

• RQ1 深度字典学习能否有效统一标签、语义和视觉空间，以实现多标签图像分类？
• RQ2 通过学习到的字典整合语义信息，与将其视为辅助信息相比，性能提升效果如何？
• RQ3 在表示系数和语义字典之间交替优化对模型收敛性和准确率的影响是什么？
• RQ4 所提出的DSDL模型在标准多标签基准上的表现与最先进方法相比如何？

主要发现

• 在PASCAL VOC 2007数据集上，尽管使用了更简单的主干网络，DSDL在mAP上分别优于DELTA、ML-GCN和CoP 3.3%、0.9%和0.6%。
• 在PASCAL VOC 2012数据集上，DSDL实现了最高的mAP，相比第二好的方法提升1.0%，且在所有物体类别上表现接近最优模型。
• 在COCO数据集上，DSDL在mAP、CF1和OF1指标上均取得最佳表现，ALL情况下mAP达76.7%，OF1达79.1%，相比普通ResNet101提升4.4%的mAP。
• 在COCO数据集上，DSDL的mAP分别比ResNet-SRN、ResNet101-ACfs和CoP高出4.6%、4.2%和0.6%，表现出一致的优越性。
• 消融实验表明，模型在不同超参数λ和β下表现稳定，VOC数据集最优设置为λ=10，β=10⁻⁴；COCO数据集为λ=0.1，β=10⁻⁶。
• 即使不使用显式的字典损失（β=0），模型仍保持有效性，表明APUS策略已隐式地将字典学习嵌入优化过程。