[论文解读] Drill-down: Interactive Retrieval of Complex Scenes using Natural Language Queries

Fuwen Tan, Paola Cascante-Bonilla+4 more|arXiv (Cornell University)|Nov 10, 2019

Multimodal Machine Learning Applications被引用 13

一句话总结

Drill-down 提出了一种交互式图像检索框架，通过使用多个自然语言查询来细化复杂场景的搜索结果，同时通过维护一组紧凑的区域感知状态向量来追踪查询历史。该方法在模拟和真实用户基准测试中均优于现有的序列编码模型，在利用区域描述作为弱监督的前提下，实现了更高的准确率并降低了计算成本。

ABSTRACT

This paper explores the task of interactive image retrieval using natural language queries, where a user progressively provides input queries to refine a set of retrieval results. Moreover, our work explores this problem in the context of complex image scenes containing multiple objects. We propose Drill-down, an effective framework for encoding multiple queries with an efficient compact state representation that significantly extends current methods for single-round image retrieval. We show that using multiple rounds of natural language queries as input can be surprisingly effective to find arbitrarily specific images of complex scenes. Furthermore, we find that existing image datasets with textual captions can provide a surprisingly effective form of weak supervision for this task. We compare our method with existing sequential encoding and embedding networks, demonstrating superior performance on two proposed benchmarks: automatic image retrieval on a simulated scenario that uses region captions as queries, and interactive image retrieval using real queries from human evaluators.

研究动机与目标

• 解决在单一查询不足以满足需求的复杂场景中检索高度特定图像的挑战。
• 通过使用紧凑的、区域感知的状态表示来建模多轮自然语言查询，从而提升交互式图像检索的性能。
• 探索利用 Visual Genome 等数据集中的区域描述作为弱监督信号，训练交互式检索模型的有效性。
• 在模拟和真实用户评估设置中，超越现有的序列编码方法。
• 在多轮搜索场景中，降低计算成本的同时保持或提升检索准确率。

提出的方法

• 模型使用从预训练目标检测器提取的局部对象/物体特征表示图像，实现区域级别的理解。
• 它维护一组固定数量的状态向量，每个向量对应图像中的一个独立区域，并在每次新查询时选择性地更新。
• 每个查询通过可学习的注意力机制进行编码并与相关区域对齐，从而实现检索状态的逐步优化。
• 该框架在联合视觉-语义嵌入空间中工作，以最小化查询表示与相关图像区域之间的距离。
• 在训练过程中利用 Visual Genome 数据集中的区域描述作为弱监督信号，使模型能够在无需人工标注对话的情况下有效学习。
• 状态表示紧凑高效，避免了基于完整 RNN 的序列编码器所带来的内存和计算负担。

实验结果

研究问题

• RQ1 与单次查询方法相比，多轮自然语言查询是否能显著提升复杂场景下的检索准确率？
• RQ2 紧凑的、区域感知的状态表示是否能在多轮图像检索中优于标准的 RNN 基序列编码器？
• RQ3 利用现有数据集中区域描述作为弱监督信号训练交互式检索模型的效果如何？
• RQ4 当面对更长、重复或结构不清晰的真实用户查询时，模型是否仍能保持性能？
• RQ5 在动态搜索过程中，模型能否在适应新查询的同时避免遗忘早期查询的信息？

主要发现

• Drill-down 在模拟和真实用户基准测试中均优于 HRED 和 R-HRED 基线模型，实现了更高的准确率并降低了计算成本。
• 在使用区域描述的模拟基准测试中，Drill-down 的 top-1 准确率达到 87.4%，top-5 准确率达到 96.1%。
• 在真实用户查询的人工评估中，超过 80% 的用户在 5 轮以内成功定位到目标图像。
• 即使面对灵活多变的真实世界查询，模型仍保持强劲性能，展现出对查询形式和结构差异的鲁棒性。
• 定性分析表明，状态向量能有效关注相关图像区域，但当多个查询激活同一语义子空间时，可能出现对早期查询信息的遗忘。
• 利用区域描述作为弱监督信号，使模型能够在无需昂贵人工标注对话的情况下实现有效训练，显著降低了数据收集成本。