[论文解读] Giving Commands to a Self-driving Car: A Multimodal Reasoner for Visual Grounding

Thierry Deruyttere, Guillem Collell+1 more|arXiv (Cornell University)|Mar 19, 2020

Human-Automation Interaction and Safety被引用 7

一句话总结

本文提出了一种新型多步推理模型——多模态空间区域推理器（Multimodal Spatial Region Reasoner, MSRR），该模型将区域提议网络（Region Proposal Network, RPN）提取的物体区域整合到一种称为SpatialMap的空间记忆张量中，以提升复杂现实场景下的视觉定位性能。通过基于查询分解组件的迭代区域评分并利用空间上下文信息，MSRR在具有挑战性的Talk2Car数据集上相较最先进模型实现了9.8%的IoU准确率绝对提升。

ABSTRACT

We propose a new spatial memory module and a spatial reasoner for the Visual Grounding (VG) task. The goal of this task is to find a certain object in an image based on a given textual query. Our work focuses on integrating the regions of a Region Proposal Network (RPN) into a new multi-step reasoning model which we have named a Multimodal Spatial Region Reasoner (MSRR). The introduced model uses the object regions from an RPN as initialization of a 2D spatial memory and then implements a multi-step reasoning process scoring each region according to the query, hence why we call it a multimodal reasoner. We evaluate this new model on challenging datasets and our experiments show that our model that jointly reasons over the object regions of the image and words of the query largely improves accuracy compared to current state-of-the-art models.

研究动机与目标

• 为解决在自动驾驶等复杂现实视觉定位任务中准确定位物体的挑战。
• 通过以结构化、可解释的方式联合推理自然语言查询与图像物体区域，提升视觉定位性能。
• 提出一种空间推理机制，保留并利用物体区域周围的二维空间上下文，以提升定位准确率。
• 在精心构建的基准数据集（RefCOCO）和真实世界非精心构建的数据集（Talk2Car）上验证模型，以评估其鲁棒性与泛化能力。
• 通过消融研究证明多步推理与空间记忆在复杂视觉定位场景中的优势。

提出的方法

• 模型使用区域提议网络（RPN）提取物体区域，并将这些区域编码为一种称为SpatialMap的二维空间记忆张量。
• SpatialMap通过在每个物体周围的网格单元中分配特征值来存储空间信息，其中可学习的权重 $x_s$ 控制非物体区域的影响。
• MSRR通过迭代评分机制实现多步推理，基于查询的聚焦组件与各物体区域的对齐程度进行评分。
• 在每一步推理中，模型关注查询中的特定词语，并据此更新区域得分，实现对最可能目标的逐步优化。
• 最终预测结果为所有推理步骤后累积得分最高的物体区域。
• 模型采用交叉熵损失进行端到端训练，并使用IoU（交并比）指标进行评估。

实验结果

研究问题

• RQ1 一种联合处理自然语言查询组件与图像物体区域的多步推理机制，是否能提升复杂现实场景下的视觉定位准确率？
• RQ2 通过SpatialMap张量引入物体区域周围的二维空间上下文，相较于忽略空间上下文的模型，性能提升如何？
• RQ3 在视觉定位任务中，实现高准确率的最优推理步数是多少？
• RQ4 当面对更简单的数据集时，模型性能是否会因多步推理而下降，即多步推理在简单场景中是否不必要？
• RQ5 物体特征与空间上下文之间的平衡（由 $x_s$ 控制）如何影响模型正确推理的能力？

主要发现

• MSRR在Talk2Car验证集上实现了60.29%的IoU@0.5准确率，相较之前最先进模型实现了9.8%的绝对提升。
• 消融研究显示，使用空间上下文（$x_s = 0.5$）可将准确率提升至60.29%，而禁用空间上下文（$x_s = 0$）则降至54.31%。
• 当 $x_s = 1$（完全空间上下文）时，模型性能显著下降（仅7.76%），证实模型必须依赖物体特征进行推理，而非仅依赖空间图。
• 使用10步推理时，平均IoU准确率达到最高（60.29%），优于单步推理（56.55%），且超过10步后收益递减。
• 在更简单的RefCOCO数据集上，多步推理反而产生负面影响，表明MSRR在复杂、多约束的视觉定位任务中最为有效。
• 模型的推理过程具有可解释性，因为物体得分随推理步骤逐步演化，有助于实现透明推理并检测不确定性。