[论文解读] BOSS: Bottom-up Cross-modal Semantic Composition with Hybrid Counterfactual Training for Robust Content-based Image Retrieval

Wenqiao Zhang, Jiannan Guo+6 more|arXiv (Cornell University)|Jul 9, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出 BOSS，一种基于混合反事实训练的自底向上跨模态语义组合框架，用于实现鲁棒的基于内容的图像检索。通过联合建模受文本查询条件约束的局部与全局视觉特征，并采用双监督策略优化查询-目标对应关系，该方法在 FashionIQ、Fashion200k 和 Shoes 数据集上实现了最先进性能。

ABSTRACT

Content-Based Image Retrieval (CIR) aims to search for a target image by concurrently comprehending the composition of an example image and a complementary text, which potentially impacts a wide variety of real-world applications, such as internet search and fashion retrieval. In this scenario, the input image serves as an intuitive context and background for the search, while the corresponding language expressly requests new traits on how specific characteristics of the query image should be modified in order to get the intended target image. This task is challenging since it necessitates learning and understanding the composite image-text representation by incorporating cross-granular semantic updates. In this paper, we tackle this task by a novel \underline{ extbf{B}}ottom-up cr\underline{ extbf{O}}ss-modal \underline{ extbf{S}}emantic compo\underline{ extbf{S}}ition ( extbf{BOSS}) with Hybrid Counterfactual Training framework, which sheds new light on the CIR task by studying it from two previously overlooked perspectives: \emph{implicitly bottom-up composition of visiolinguistic representation} and \emph{explicitly fine-grained correspondence of query-target construction}. On the one hand, we leverage the implicit interaction and composition of cross-modal embeddings from the bottom local characteristics to the top global semantics, preserving and transforming the visual representation conditioned on language semantics in several continuous steps for effective target image search. On the other hand, we devise a hybrid counterfactual training strategy that can reduce the model's ambiguity for similar queries.

研究动机与目标

• 解决现有基于内容的图像检索（CIR）方法在有效建模跨粒度视觉与语言交互方面的局限性。
• 通过显式建模组合查询与目标图像之间的对应关系，提升细粒度查询理解能力。
• 通过一种新颖的混合反事实训练策略，减少相似查询场景下的歧义性。
• 通过自底向上、上下文感知的方式，整合局部与全局视觉特征，增强表示学习。
• 通过改进视觉-语言组合与监督机制，在多个 CIR 基准上实现最先进性能。

提出的方法

• 提出一种自底向上的跨模态语义组合模块，逐步将受文本输入条件约束的局部视觉特征与全局语义进行融合。
• 引入一种混合反事实训练（HCT）策略，提供双重监督：一者用于保持上下文信息，另一者用于确保负样本中的内容独立性。
• 采用多层次表示学习方案，联合优化局部与全局特征组合，以获得更丰富的视觉-语言表示。
• 使用三元组损失，辅以重建损失和对齐损失，以优化语义空间并提升嵌入质量。
• 设计双分支架构，生成组合查询表示，并在共享嵌入空间中将其与目标图像特征对齐。
• 应用对比学习与负样本采样，增强模型在区分相似查询及其正确目标方面的能力。

实验结果

研究问题

• RQ1 自底向上的局部与全局视觉特征组合在基于内容的图像检索中如何提升跨模态理解？
• RQ2 混合反事实训练在多大程度上减少了相似查询场景下的歧义性？
• RQ3 与标准对比学习相比，对组合-目标对应关系施加显式监督是否能提升检索准确率？
• RQ4 局部与全局特征表示如何独立且协同地贡献于检索性能？
• RQ5 在所提框架中，各损失组件的相对贡献如何？

主要发现

• BOSS 在三个基准数据集（FashionIQ、Fashion200k 和 Shoes）上实现了最先进性能，其中在 FashionIQ 上的 RC@10 为 31.61%，RC@50 为 56.06%。
• 与不包含 HCT 组件的消融实验相比，HCT 组件在 RC@10 和 RC@50 上分别带来 1.42% 和 4.40% 的绝对性能提升。
• 移除局部或全局特征组合均导致性能显著下降，证实了多层次表示学习的重要性。
• 重建损失（$\mathcal{L}_{res}$）和对齐损失（$\mathcal{L}_{ali}$）均对性能有显著贡献，完整损失组合取得最佳结果。
• 定性分析表明，HCT 使模型能够在 RC@10 水平上检索到正确的目标图像，而标准 DML 模型在模糊情况下无法实现这一点。
• t-SNE 可视化结果证实，在 HCT 优化的语义空间中，组合查询表示与目标表示更接近，尤其在相似查询中表现更优。