[论文解读] A Unified Semantic Embedding: Relating Taxonomies and Attributes

Sung Ju Hwang, Leonid Sigal|arXiv (Cornell University)|Nov 18, 2014

Domain Adaptation and Few-Shot Learning参考文献 19被引用 40

一句话总结

本文提出统一语义嵌入（USE），一种判别式模型，将物体类别、超类别和属性联合嵌入到一个共享语义空间中，使类别可表示为超类别加稀疏属性组合。通过大 margin 学习和基于图的正则化强制实现稀疏性和伪正交性，USE 在分类准确率和人类可解释的描述生成方面均取得提升，在少样本和多类别识别任务中达到最先进性能。

ABSTRACT

We propose a method that learns a discriminative yet semantic space for object categorization, where we also embed auxiliary semantic entities such as supercategories and attributes. Contrary to prior work which only utilized them as side information, we explicitly embed the semantic entities into the same space where we embed categories, which enables us to represent a category as their linear combination. By exploiting such a unified model for semantics, we enforce each category to be represented by a supercategory + sparse combination of attributes, with an additional exclusive regularization to learn discriminative composition.

研究动机与目标

• 在单一语义空间中统一表示物体类别、超类别和属性，以提升视觉识别性能。
• 使类别可被描述为超类别加稀疏的判别性属性组合，从而增强可解释性和泛化能力。
• 开发一种判别式学习框架，通过大 margin 约束和稀疏性正则化，强制实现语义合理性与鲁棒性。
• 通过利用类别与属性之间的结构化语义关系，提升少样本和零样本学习性能。
• 基于学习到的语义组合，生成人类可理解的、紧凑的新类别描述。

提出的方法

• 该方法使用线性变换矩阵 W 学习共享嵌入空间，将图像特征投影到 d_e 维语义空间。
• 采用基于大 margin 排名的判别式损失函数（L_C），确保每个图像嵌入比其他类别更接近其真实类别嵌入。
• 通过独立损失（L_S）引入超类别监督，利用层级标签结构，强制图像更接近其超类别而非同级超类别。
• 将属性作为同一空间中的基向量进行嵌入，且对类别表示施加约束，使其为超类别与一组稀疏属性的线性组合。
• 应用基于图的正则化，强制每个语义嵌入表示为辅助语义实体的稀疏组合，促进紧凑且有意义的组合。
• 应用独占正则化，鼓励属性权重的稀疏性，确保仅最具有判别性的属性对类别表示有贡献。

实验结果

研究问题

• RQ1 能否学习到一个统一的嵌入空间，联合建模类别、超类别和属性，以提升视觉识别性能？
• RQ2 在判别式学习框架中，如何强制实现语义组合性——即以超类别加一组稀疏属性表示类别？
• RQ3 在语义嵌入中强制实现稀疏性和伪正交性是否能提升泛化能力和分类准确率？
• RQ4 该模型能否基于学习到的语义组合，生成紧凑且人类可理解的新类别描述？
• RQ5 与现有基线相比，该方法在少样本和零样本学习场景下的表现如何？

主要发现

• USE-Reg 在 AWA-DeCAF 数据集上达到 46.42% 的 top-1 准确率，优于所有基线方法，包括 LME-MTL-S 和 LME-MTL-A。
• USE-Reg 的层次精确度@5 达到 76.62%，显著优于次佳方法（74.67%），表明其在不同语义层级上具有更好的泛化能力。
• 在少样本学习中，USE-Reg 将 AWA-DeCAF 上的两样本准确率从 38.93% 提升至 49.87%，凸显其在低数据场景下的有效性。
• 定性分析表明，该模型能生成紧凑且具有判别性的描述——例如，将臭鼬描述为“有条纹的食肉目哺乳动物”——且极少使用非判别性属性。
• 即使在未提供这些层级的真值属性时，模型仍成功学习将属性分配给超类别（例如，将“极地的”分配给驼鹿）。
• 使用独占正则化显著提升了性能：与 USE-No Reg 对比，top-1 准确率提升 1.5%，层次精确度@5 提升 1.65%。