[论文解读] Hierarchical Feature Embedding for Attribute Recognition

Jie Yang, Jiarou Fan+5 more|arXiv (Cornell University)|May 23, 2020

Video Surveillance and Tracking Methods参考文献 56被引用 6

一句话总结

该论文提出了一种分层特征嵌入（HFE）框架，通过联合优化属性级别和身份（ID）级别特征嵌入来提升属性识别性能。通过一种新型的HFE损失，结合类间（属性）和类内（ID）约束，辅以绝对边界正则化和动态损失加权，该方法在行人和面部属性数据集上实现了最先进性能，相较于交叉熵基线，准确率提升7.98%，F1分数提升5.40%。

ABSTRACT

Attribute recognition is a crucial but challenging task due to viewpoint changes, illumination variations and appearance diversities, etc. Most of previous work only consider the attribute-level feature embedding, which might perform poorly in complicated heterogeneous conditions. To address this problem, we propose a hierarchical feature embedding (HFE) framework, which learns a fine-grained feature embedding by combining attribute and ID information. In HFE, we maintain the inter-class and intra-class feature embedding simultaneously. Not only samples with the same attribute but also samples with the same ID are gathered more closely, which could restrict the feature embedding of visually hard samples with regard to attributes and improve the robustness to variant conditions. We establish this hierarchical structure by utilizing HFE loss consisted of attribute-level and ID-level constraints. We also introduce an absolute boundary regularization and a dynamic loss weight as supplementary components to help build up the feature embedding. Experiments show that our method achieves the state-of-the-art results on two pedestrian attribute datasets and a facial attribute dataset.

研究动机与目标

• 解决在视角变化、光照条件和遮挡等复杂变化下的属性识别挑战。
• 通过结合身份（ID）信息与属性标签，提升模型的鲁棒性与细粒度判别能力。
• 构建一个分层特征空间，同时保持类间（属性）聚类与类内（ID）聚类，以实现更紧凑和可分的特征表示。
• 通过绝对边界正则化和动态损失加权，提升训练稳定性与特征空间质量。

提出的方法

• 提出一种分层特征嵌入（HFE）损失，结合两种三元组损失：一种用于类间（属性）约束，另一种用于类内（ID）约束。
• 引入绝对边界正则化（ABR），以强制实施绝对距离约束，补充三元组损失的相对距离学习。
• 采用动态损失权重，随训练过程逐步增加，引导特征空间从初始状态平滑过渡至HFE优化状态。
• 使用五元组采样进行损失计算，采样策略根据训练过程中动态演化的特征空间自适应调整。
• 为属性和身份分别维护独立的特征表示，避免在相同嵌入空间中直接融合。
• 采用端到端训练，使用交叉熵损失进行属性分类，同时使用HFE损失进行判别性特征学习。

实验结果

研究问题

• RQ1 将身份信息整合到属性识别中，是否能提升在外观变化和遮挡下的鲁棒性？
• RQ2 结合属性级别与ID级别约束的分层特征嵌入，是否能带来更优的特征紧凑性与可分性？
• RQ3 绝对边界正则化如何在标准三元组损失基础上进一步提升特征空间质量？
• RQ4 动态损失加权是否能稳定训练过程并提升分层特征学习中的收敛性能？

主要发现

• HFE框架在两个行人属性数据集和CelebA面部属性数据集上均实现了最先进性能，CelebA数据集上准确率达到92.17%。
• 结合类间与类内约束后，平均准确率提升4.08%，Top-1准确率提升7.98%，F1分数提升5.40%，相较交叉熵基线表现更优。
• 类内损失（$L_{intra}$）的贡献显著高于类间损失（$L_{inter}$），表明ID级别聚类对处理困难样本至关重要。
• 绝对边界正则化（ABR）通过强制实施绝对距离约束，进一步提升性能，增强边缘分离效果。
• 动态损失权重机制有效稳定了训练过程，并实现了从初始特征空间到优化特征空间的平滑过渡。
• 定性可视化结果表明，HFE在类间与类内两个层面均生成了更紧密、更具判别力的聚类，尤其在难以分类的样本上表现更优。