[论文解读] Candidate Set Re-ranking for Composed Image Retrieval with Dual Multi-modal Encoder

Zheyuan Liu, Weixuan Sun+2 more|arXiv (Cornell University)|May 25, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出了一种两阶段组合图像检索方法，首先通过快速向量相似性进行候选过滤，然后利用双模态编码器对顶层候选进行重排序，该编码器显式建模参考图像、文本查询与候选图像之间的交互关系。该方法通过结合效率与细粒度的跨模态推理，在Fashion-IQ和CIRR基准上实现了最先进性能。

ABSTRACT

Composed image retrieval aims to find an image that best matches a given multi-modal user query consisting of a reference image and text pair. Existing methods commonly pre-compute image embeddings over the entire corpus and compare these to a reference image embedding modified by the query text at test time. Such a pipeline is very efficient at test time since fast vector distances can be used to evaluate candidates, but modifying the reference image embedding guided only by a short textual description can be difficult, especially independent of potential candidates. An alternative approach is to allow interactions between the query and every possible candidate, i.e., reference-text-candidate triplets, and pick the best from the entire set. Though this approach is more discriminative, for large-scale datasets the computational cost is prohibitive since pre-computation of candidate embeddings is no longer possible. We propose to combine the merits of both schemes using a two-stage model. Our first stage adopts the conventional vector distancing metric and performs a fast pruning among candidates. Meanwhile, our second stage employs a dual-encoder architecture, which effectively attends to the input triplet of reference-text-candidate and re-ranks the candidates. Both stages utilize a vision-and-language pre-trained network, which has proven beneficial for various downstream tasks. Our method consistently outperforms state-of-the-art approaches on standard benchmarks for the task. Our implementation is available at https://github.com/Cuberick-Orion/Candidate-Reranking-CIR.

研究动机与目标

• 为解决组合图像检索（CIR）中推理效率与判别能力之间的权衡问题。
• 通过三元组建模实现显式的查询-候选交互，以提升检索准确率。
• 通过结合快速预过滤与计算量更大的重排序阶段，保持可接受的推理时间。
• 在双编码器架构中有效利用视觉-语言预训练模型，以支持CIR任务。

提出的方法

• 该方法采用两阶段流程：首先，基于快速向量距离的过滤，以减小候选集规模。
• 过滤阶段计算查询修改后的参考嵌入与预计算候选嵌入之间的余弦相似度。
• 重排序阶段采用双编码器架构，联合关注由参考图像、文本查询和候选图像组成的三元组。
• 双编码器模型将三者输入多模态Transformer编码器，以计算优化后的相关性得分。
• 两个阶段均基于视觉-语言预训练主干网络构建，确保强大的特征表示能力。
• 最终预测结果从重排序后的前K名候选中，基于最高相关性得分选出。

实验结果

研究问题

• RQ1 两阶段方法能否在组合图像检索中平衡推理效率与判别能力？
• RQ2 与间接特征修改相比，显式的三元组级别交互（参考图像-文本-候选）在提升检索准确率方面的有效性如何？
• RQ3 双编码器架构能否在最小性能损失下有效建模组合图像检索中的跨模态交互？
• RQ4 在重排序阶段，候选集规模（K）与推理成本之间的最优权衡是什么？
• RQ5 在召回率与精确率方面，重排序阶段相较于初始过滤阶段的提升程度如何？

主要发现

• 所提方法在Fashion-IQ和CIRR两个基准上均实现了最先进性能，优于现有SOTA方法。
• 与仅使用过滤结果相比，重排序阶段使平均召回率提升了约5个百分点。
• 在Fashion-IQ上，重排序步骤的推理时间约为过滤步骤的8倍；在CIRR上，约为35倍。
• 过滤模块能有效去除简单负样本，定性结果表明，前6名过滤候选已与参考图像相似。
• 在CIRR的4个定性示例中，重排序模型成功将真实目标排至前列，尤其在检测新增物体（如猫）或新场景元素（如图书馆）方面表现优异。
• 当需要组合推理时（如正确理解'with'以同时检测两个实体），模型表现失败，如图4中失败案例(d)所示。