[论文解读] Embedding Label Structures for Fine-Grained Feature Representation

Xiaofan Zhang, Feng Zhou+2 more|arXiv (Cornell University)|Dec 9, 2015

Advanced Image and Video Retrieval Techniques参考文献 48被引用 16

一句话总结

本文提出一种多任务学习框架，通过联合优化分类损失与基于三元组的相似性损失，学习细粒度特征表示，并通过广义三元组将标签结构（如层次结构或共享属性）嵌入其中。该方法在三个数据集上均实现了细粒度分类与多级图像检索的最先进性能，包括一个新构建的食品基准数据集。

ABSTRACT

Recent algorithms in convolutional neural networks (CNN) considerably advance the fine-grained image classification, which aims to differentiate subtle differences among subordinate classes. However, previous studies have rarely focused on learning a fined-grained and structured feature representation that is able to locate similar images at different levels of relevance, e.g., discovering cars from the same make or the same model, both of which require high precision. In this paper, we propose two main contributions to tackle this problem. 1) A multi-task learning framework is designed to effectively learn fine-grained feature representations by jointly optimizing both classification and similarity constraints. 2) To model the multi-level relevance, label structures such as hierarchy or shared attributes are seamlessly embedded into the framework by generalizing the triplet loss. Extensive and thorough experiments have been conducted on three fine-grained datasets, i.e., the Stanford car, the car-333, and the food datasets, which contain either hierarchical labels or shared attributes. Our proposed method has achieved very competitive performance, i.e., among state-of-the-art classification accuracy. More importantly, it significantly outperforms previous fine-grained feature representations for image retrieval at different levels of relevance.

研究动机与目标

• 为解决细粒度特征表示中缺乏结构化、多级相似性建模的问题，该问题在产品推荐等应用中至关重要。
• 在严格类别标签之外，提升在不同相关性层级（如相同品牌、相同型号或共享属性）下的图像检索精度。
• 在提升判别性特征学习的同时保持高分类准确率，通过联合优化分类损失与相似性约束实现。
• 通过广义三元组损失，无缝地将层次化与基于属性的标签结构嵌入深度学习模型中。

提出的方法

• 一种多任务学习框架，联合优化Softmax分类损失与三元组损失，以平衡准确率与判别性表征能力。
• 通过广义三元组将层次标签（如汽车品牌、型号、年份）或共享属性（如食品成分）等标签结构编码进三元组损失中。
• 广义三元组损失采用自适应边界，其大小根据标签相似度的层级动态调整，从而实现多级相关性建模。
• 该框架在CNN上端到端训练，通过平衡超参数λs调节两种损失的权重，确保稳定收敛。
• 特征维度与边界值在稳定范围内进行调优，实验表明对这些超参数的变化具有鲁棒性。
• 该方法在三个数据集上进行评估：Stanford Cars、Car-333，以及一个新收集的包含51种共享成分的细粒度食品数据集。

实验结果

研究问题

• RQ1 是否能够通过统一的深度学习框架，联合优化分类与相似性学习，以提升细粒度特征表示？
• RQ2 层次化或基于属性的标签结构在损失函数中嵌入的有效性如何，能否实现多级图像相似性建模？
• RQ3 所提出的方法是否在细粒度分类准确率与多级图像检索精度方面均优于现有方法？
• RQ4 与单损失基线相比，该多任务框架的收敛速度与超参数敏感性如何？

主要发现

• 在细粒度食品数据集上，该方法达到了89.0%的分类准确率，优于GoogleNet（87.1%）与仅使用三元组微调的方法（86.1%）。
• 在食品数据集上，与基线相比，该方法在细粒度标签层级的检索精度提升了5.5%，在共享属性层级提升了4.2%。
• 在属性层级上4.2%的性能增益，相当于相比未嵌入属性信息的方法，错误率降低了16.9%。
• 该框架在食品数据集上收敛于600个周期，Stanford Cars上为800个周期，Car-333上为150个周期，由于联合优化，表现出快速收敛。
• 该方法对超参数变化具有鲁棒性：λs在0.55至0.85之间变化时，性能波动小于0.8%；特征维度在128至512之间变化时，性能波动小于2%。
• 在多级检索任务中，该方法显著优于仅使用三元组或仅使用Softmax的基线方法，证明了结构化标签集成的优势。