[论文解读] Multi-Instance Visual-Semantic Embedding

Zhou Ren, Hailin Jin+3 more|arXiv (Cornell University)|Dec 22, 2015

Domain Adaptation and Few-Shot Learning参考文献 25被引用 24

一句话总结

本文提出多实例视觉-语义嵌入（MIE）模型，将语义上有意义的图像子区域映射到共享嵌入空间中的对应标签，从而提升多标签图像标注与零样本学习性能。通过联合使用区域建议网络推断区域与标签的对应关系，并优化排序损失，MIE 实现了最先进性能，在多标签标注任务上超越先前方法 4.5%，在零样本学习任务上的平均 MAP 提升 1.35%。

ABSTRACT

Visual-semantic embedding models have been recently proposed and shown to be effective for image classification and zero-shot learning, by mapping images into a continuous semantic label space. Although several approaches have been proposed for single-label embedding tasks, handling images with multiple labels (which is a more general setting) still remains an open problem, mainly due to the complex underlying corresponding relationship between image and its labels. In this work, we present Multi-Instance visual-semantic Embedding model (MIE) for embedding images associated with either single or multiple labels. Our model discovers and maps semantically-meaningful image subregions to their corresponding labels. And we demonstrate the superiority of our method over the state-of-the-art on two tasks, including multi-label image annotation and zero-shot learning.

研究动机与目标

• 解决现有视觉-语义嵌入模型的局限性，即假设所有标签均适用于整张图像，这在多标签场景中不成立，因为标签通常对应特定子区域。
• 开发统一框架，通过建模区域与标签的对应关系，有效处理单标签与多标签图像嵌入任务。
• 通过发现与每个标签相关联的语义上有意义的子区域，提升多标签图像标注性能。
• 通过利用视觉-语义空间中编码的语义关系，实现鲁棒的零样本学习，从而预测未见类别。
• 证明子区域级别嵌入可增强视觉-语义任务中的泛化能力与可解释性。

提出的方法

• 模型使用区域建议网络为每张图像生成候选图像子区域。
• 联合推断每个标签的最佳匹配子区域，建立区域与标签的对应关系。
• 优化排序损失，确保子区域的嵌入向量比其他标签更接近其正确标签。
• 使用预训练词嵌入（如 GloVe）学习视觉-语义嵌入空间，以编码标签之间的语义关系。
• 在共享空间中联合优化子区域的视觉特征与标签嵌入，保留语义与视觉相似性。
• 通过在嵌入空间中基于语义接近度泛化至未见标签，该框架支持多标签标注与零样本学习。

实验结果

研究问题

• RQ1 建模图像子区域而非整张图像，是否能提升多标签图像标注任务的性能？
• RQ2 如何在弱监督设置下有效学习区域与标签的对应关系？
• RQ3 子区域级别嵌入是否能增强对未见类别的零样本泛化能力？
• RQ4 该模型能否发现与特定标签相对应的语义上有意义的子区域，从而提升可解释性？
• RQ5 在大规模数据集上，该方法与现有视觉-语义嵌入模型相比，在可扩展性与性能方面表现如何？

主要发现

• 在 NUS-WIDE 数据集上，MIE 在多标签图像标注准确率上相比最先进方法提升 4.5%。
• 定性结果中可视化边界框表明，该模型成功定位了与每个标签相对应的语义上有意义的子区域。
• 在 Places205 数据集上，MIE 在零样本学习任务中达到 30.27% 的平均精度（MAP@10），相比排序损失基线平均提升 1.35%。
• 由于嵌入空间中语义接近性，该模型能有效泛化至未见类别，例如在仅用 'swallow' 和 'woodpecker' 等鸟类类别训练后，可预测 'pelican'。
• 即使对于未见标签，该模型在零样本预测中仍表现出鲁棒性，其 top-5 预测结果在语义上与真实标签接近。
• 区域建议与联合区域-标签匹配机制的结合，显著优于基于整图嵌入的基线方法。