[论文解读] Composed Image Retrieval with Text Feedback via Multi-grained Uncertainty Regularization

Yiyang Chen, Zhedong Zheng+3 more|arXiv (Cornell University)|Nov 14, 2022

Advanced Image and Video Retrieval Techniques被引用 12

一句话总结

该论文提出了一种统一的学习框架，用于在文本反馈场景下进行组合图像检索，通过不确定性建模与正则化来建模多粒度不确定性。通过模拟特征空间的波动以表示粗粒度查询，并自适应地调整损失权重，该方法在FashionIQ、Fashion200k和Shoes数据集上分别将召回率提升了+4.03%、+3.38%和+2.40%，优于强基线模型，同时保持与现有模型的兼容性。

ABSTRACT

We investigate composed image retrieval with text feedback. Users gradually look for the target of interest by moving from coarse to fine-grained feedback. However, existing methods merely focus on the latter, i.e., fine-grained search, by harnessing positive and negative pairs during training. This pair-based paradigm only considers the one-to-one distance between a pair of specific points, which is not aligned with the one-to-many coarse-grained retrieval process and compromises the recall rate. In an attempt to fill this gap, we introduce a unified learning approach to simultaneously modeling the coarse- and fine-grained retrieval by considering the multi-grained uncertainty. The key idea underpinning the proposed method is to integrate fine- and coarse-grained retrieval as matching data points with small and large fluctuations, respectively. Specifically, our method contains two modules: uncertainty modeling and uncertainty regularization. (1) The uncertainty modeling simulates the multi-grained queries by introducing identically distributed fluctuations in the feature space. (2) Based on the uncertainty modeling, we further introduce uncertainty regularization to adapt the matching objective according to the fluctuation range. Compared with existing methods, the proposed strategy explicitly prevents the model from pushing away potential candidates in the early stage, and thus improves the recall rate. On the three public datasets, i.e., FashionIQ, Fashion200k, and Shoes, the proposed method has achieved +4.03%, +3.38%, and +2.40% Recall@50 accuracy over a strong baseline, respectively.

研究动机与目标

• 解决一对一细粒度度量学习与现实世界中一对多粗粒度检索需求之间的错位问题，特别是在文本反馈场景下。
• 通过建模反映模糊或不精确用户查询的特征空间不确定性，提升召回率。
• 通过基于不确定性的正则化，将粗粒度与细粒度匹配统一到单一优化目标中。
• 开发一种训练策略，避免在早期学习阶段将潜在正样本推开。
• 确保与最先进交叉注意力主干网络及现有检索方法的兼容性。

提出的方法

• 通过在特征空间中注入相同分布的波动来实现不确定性建模，以模拟多粒度查询，表示粗粒度和细粒度的搜索范围。
• 采用不确定性正则化，根据波动范围动态调整损失权重，降低对模糊查询的惩罚。
• 使用可学习参数 γ₀ 控制粗粒度与细粒度学习之间的权衡，实验表明 γ₀ = 1 是一个鲁棒的初始设置。
• 将不确定性正则化项作为损失函数中的松散约束，防止对一对一配对的过拟合，同时保留潜在正样本。
• 通过将不确定范围视为有效匹配区域，调整匹配目标以同时支持一对一和一对多匹配。
• 可无缝集成至现有方法（如 Clip4Cir 和 BLIP），在堆叠使用时提升性能。

实验结果

研究问题

• RQ1 如何设计一个统一的学习框架，有效建模文本反馈场景下粗粒度与细粒度的图像检索？
• RQ2 在模糊的一对多查询上应用基于配对的度量学习时，对召回率有何影响？
• RQ3 在特征空间中进行不确定性建模是否能在不降低细粒度准确率的前提下提升召回率？
• RQ4 自适应不确定性正则化如何影响训练收敛性和泛化能力？
• RQ5 所提方法在多大程度上可与最先进交叉注意力主干网络结合？

主要发现

• 所提方法在FashionIQ上实现+4.03%的Recall@50提升，在Fashion200k上提升+3.38%，在Shoes上提升+2.40%，均优于强基线。
• 在专门针对粗粒度检索的评估中，该方法在模糊查询上使Recall@10提升1.46%，Recall@50提升3.34%。
• 所提方法的训练损失收敛至非零常数，表明其避免了对一对一配对的过拟合，而基线模型则收敛至零。
• 与Clip4Cir结合后，该方法在FashionIQ上的Recall@50从56.74%提升至59.23%。
• 与BLIP主干结合后，该方法在Shoes数据集上的Recall@50从70.21%提升至75.29%。
• 源图像特征增强会损害性能，因其与一对多匹配存在冲突；而目标特征增强更为有效。