[论文解读] Chatting Makes Perfect: Chat-based Image Retrieval

Matan Levy, Rami Ben‐Ari+2 more|arXiv (Cornell University)|May 31, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出 ChatIR，一种基于对话的图像检索系统，利用大语言模型通过多轮对话与用户交互，逐步细化搜索意图。在包含 50K 张图像的数据集上，经过五轮对话后，该系统实现了 78% 的检索准确率，优于单次查询的文本到图像检索（64%）和人类提问的对话（75%），其优势源于基础模型的使用以及采用 BLIP2 作为合成回答者的新型评估流程。

ABSTRACT

Chats emerge as an effective user-friendly approach for information retrieval, and are successfully employed in many domains, such as customer service, healthcare, and finance. However, existing image retrieval approaches typically address the case of a single query-to-image round, and the use of chats for image retrieval has been mostly overlooked. In this work, we introduce ChatIR: a chat-based image retrieval system that engages in a conversation with the user to elicit information, in addition to an initial query, in order to clarify the user's search intent. Motivated by the capabilities of today's foundation models, we leverage Large Language Models to generate follow-up questions to an initial image description. These questions form a dialog with the user in order to retrieve the desired image from a large corpus. In this study, we explore the capabilities of such a system tested on a large dataset and reveal that engaging in a dialog yields significant gains in image retrieval. We start by building an evaluation pipeline from an existing manually generated dataset and explore different modules and training strategies for ChatIR. Our comparison includes strong baselines derived from related applications trained with Reinforcement Learning. Our system is capable of retrieving the target image from a pool of 50K images with over 78% success rate after 5 dialogue rounds, compared to 75% when questions are asked by humans, and 64% for a single shot text-to-image retrieval. Extensive evaluations reveal the strong capabilities and examine the limitations of CharIR under different settings. Project repository is available at https://github.com/levymsn/ChatIR.

研究动机与目标

• 解决单次查询文本到图像检索的局限性，即模糊或不完整的描述常导致结果不佳。
• 探索对话式搜索作为静态查询在图像检索中更自然、更有效的替代方案。
• 开发一种可扩展的评估框架，用于基于 BLIP2 生成类人回答的对话式图像检索。
• 研究对话动态、问题质量以及模型训练策略对检索性能的影响。

提出的方法

• 系统采用两阶段架构：图像检索（IS）用于根据对话历史检索图像，对话构建（DB）用于生成后续问题。
• 图像检索模型 $F$ 是一个文本编码器，将对话序列映射到视觉嵌入空间，训练时采用多种掩码策略。
• 对话构建模块 $G$ 是基于指令微调的大语言模型，根据完整的对话历史生成上下文感知的后续问题。
• 在评估过程中使用合成回答者（BLIP2）模拟人类响应，实现无需人工参与的可扩展基准测试。
• 系统在 VisDial 数据集上进行评估，该数据集被重新设计为每张图像作为目标，对话作为检索查询。
• 检索性能通过每轮对话中成功检索到目标图像的概率进行衡量，使用平均目标排名（ATR）和成功率指标。

实验结果

研究问题

• RQ1 与单次查询的文本到图像检索相比，迭代式对话交互在图像检索性能上有哪些提升？
• RQ2 在对话设置下，对图像检索器（$F$）进行训练时，哪种掩码策略能取得最佳性能？
• RQ3 不同问题生成模型（$G$）对检索成功率有何影响？大语言模型能否达到人类问题的质量？
• RQ4 视觉-语言模型如 BLIP2 在多大程度上可以替代人类回答者来评估对话式检索系统？
• RQ5 当前基于对话的检索系统存在哪些局限性，特别是在生成多样化且信息丰富的后续问题方面？

主要发现

• ChatIR 在五轮对话后，从 50K 张图像中检索目标图像的成功率达到 78%，优于单次查询的文本到图像检索（64%），并接近人类提问对话的 75%。
• 在训练检索器（$F$）时，掩码初始图像描述的策略表现最佳，使所有问题生成类型的整体准确率提升 2–3%。
• 人类和 ChatGPT 问题生成者在对话轮次中均表现出检索排名的持续提升，而强化学习方法和池化问题生成者在早期轮次后无法进一步改善。
• 使用 BLIP2 作为合成回答者可提供可靠且可扩展的人类响应代理，其性能趋势与人类回答对话高度一致。
• 基于强化学习的问题生成者（$RL_{17}$ 和 $RL_{19}$）表现较差，尤其在与自身回答者配对时，检索排名随时间无改善。
• 许多模型无法随时间提升性能的原因在于其无法生成新颖且具有区分度的问题，导致对话冗余或信息量不足。