[论文解读] An End-to-End Approach to Natural Language Object Retrieval via Context-Aware Deep Reinforcement Learning

Fan Wu, Zhongwen Xu+1 more|arXiv (Cornell University)|Mar 22, 2017

Multimodal Machine Learning Applications参考文献 36被引用 11

一句话总结

本文提出了一种端到端、上下文感知的深度强化学习框架，用于自然语言对象检索，其中智能体通过基于视觉、语言和上下文线索的迭代调整边界框，动态定位图像中的目标对象。该方法在ReferItGame数据集上分别以18.25%和7.67%的性能提升超越SCRC和GroundeR，达到当前最先进水平。

ABSTRACT

We propose an end-to-end approach to the natural language object retrieval task, which localizes an object within an image according to a natural language description, i.e., referring expression. Previous works divide this problem into two independent stages: first, compute region proposals from the image without the exploration of the language description; second, score the object proposals with regard to the referring expression and choose the top-ranked proposals. The object proposals are generated independently from the referring expression, which makes the proposal generation redundant and even irrelevant to the referred object. In this work, we train an agent with deep reinforcement learning, which learns to move and reshape a bounding box to localize the object according to the referring expression. We incorporate both the spatial and temporal context information into the training procedure. By simultaneously exploiting local visual information, the spatial and temporal context and the referring language a priori, the agent selects an appropriate action to take at each time. A special action is defined to indicate when the agent finds the referred object, and terminate the procedure. We evaluate our model on various datasets, and our algorithm significantly outperforms the compared algorithms. Notably, the accuracy improvement of our method over the recent method GroundeR and SCRC on the ReferItGame dataset are 7.67% and 18.25%, respectively.

研究动机与目标

• 解决两阶段对象检索方法中区域提议独立于语言描述生成所导致的冗余和错位问题。
• 开发一种端到端框架，联合优化视觉、语言和上下文信息，实现更准确、更动态的对象定位。
• 通过学习的“触发”动作使智能体自主决定停止搜索，从而消除对预定义对象类别和固定提议数量的需求。
• 通过在强化学习策略中引入空间和时间上下文，提升对涉及相对位置或复杂属性的指代表达的理解能力。

提出的方法

• 智能体使用深度强化学习，通过迭代调整边界框的位置和大小，以定位自然语言描述中的对象。
• 智能体的动作空间包括空间移动（如移动、缩放）以及一个特殊的“触发”动作，用于在找到正确对象时终止搜索。
• 状态表示结合了对象提议的局部视觉特征、作为空间上下文的图像级卷积神经网络特征，以及作为时间上下文的语言嵌入的LSTM编码。
• 上下文感知策略网络基于每一步时间的视觉、语言和上下文输入的联合表示选择动作。
• 模型使用基于预测边界框与真实边界框之间交并比（IoU）的奖励信号，通过深度强化学习进行训练。
• 训练过程生成一系列经验，使智能体能够从与图像和语言输入的动态、上下文丰富的交互中学习。

实验结果

研究问题

• RQ1 端到端的深度强化学习智能体是否能通过联合优化视觉和语言信号，在自然语言对象检索任务中超越两阶段方法？
• RQ2 空间和时间上下文在多大程度上提升了智能体对涉及相对位置或复杂属性的指代表达的理解能力？
• RQ3 消除固定提议生成是否能带来更好的泛化能力并减少检索性能中的冗余？
• RQ4 图像级上下文信息和通过LSTM实现的序列推理在多大程度上提升了定位精度？
• RQ5 在零样本或少样本设置下，模型性能在更多训练数据下的扩展性如何？

主要发现

• 所提方法在ReferItGame数据集上分别较GroundeR和SCRC提升7.67%和18.25%的准确率，展现出最先进性能。
• 消融实验确认，空间和时间上下文均至关重要，任一缺失均导致性能显著下降。
• 与SCRC相比，该模型在更多训练数据下表现更优，展现出更强的可扩展性。
• 该方法在涉及关系描述（如“左边的叉子”）、多个对象（如“橙色的”）和属性描述（如“穿牛仔裤的男人”）的复杂查询上泛化能力出色。
• 通过触发动作实现动态搜索长度的端到端训练，消除了对固定提议数量的需求，减少了冗余。
• 在RefCOCO、RefCOCO+和RefCOCOg三个基准数据集上，无论采用Top-1还是Top-50评估设置，该方法均实现了稳定提升。