[论文解读] A Real-time Global Inference Network for One-stage Referring Expression Comprehension

Yiyi Zhou, Rongrong Ji+6 more|arXiv (Cornell University)|Dec 7, 2019

Multimodal Machine Learning Applications参考文献 37被引用 8

一句话总结

该论文提出 RealGIN，一种单阶段实时指代表达理解网络，在保持最先进准确率的同时，将推理速度相比以往多阶段方法提升了10倍。它引入了自适应特征选择（AFS）以实现多层级视觉特征融合，并提出全局注意力重推理（GARAN），通过以文本特征为基准，利用全局上下文推理来建模复杂的语言条件。

ABSTRACT

Referring Expression Comprehension (REC) is an emerging research spot in computer vision, which refers to detecting the target region in an image given an text description. Most existing REC methods follow a multi-stage pipeline, which are computationally expensive and greatly limit the application of REC. In this paper, we propose a one-stage model towards real-time REC, termed Real-time Global Inference Network (RealGIN). RealGIN addresses the diversity and complexity issues in REC with two innovative designs: the Adaptive Feature Selection (AFS) and the Global Attentive ReAsoNing unit (GARAN). AFS adaptively fuses features at different semantic levels to handle the varying content of expressions. GARAN uses the textual feature as a pivot to collect expression-related visual information from all regions, and thenselectively diffuse such information back to all regions, which provides sufficient context for modeling the complex linguistic conditions in expressions. On five benchmark datasets, i.e., RefCOCO, RefCOCO+, RefCOCOg, ReferIt and Flickr30k, the proposed RealGIN outperforms most prior works and achieves very competitive performances against the most advanced method, i.e., MAttNet. Most importantly, under the same hardware, RealGIN can boost the processing speed by about 10 times over the existing methods.

研究动机与目标

• 为解决现有多阶段指代表达理解（REC）方法计算效率低下的问题，这些方法限制了实际部署。
• 通过将任务重新定义为单阶段边界框回归问题，而非区域查询排序，实现端到端的实时REC。
• 通过新颖的架构组件，克服单阶段REC中表达多样性与语言复杂性的挑战。
• 在准确率上达到与最先进方法（如 MAttNet）相当的水平，同时显著提升推理速度。

提出的方法

• 通过将语言编码器集成到预训练的目标检测器（如 YOLOv3）中，构建单阶段基线模型，实现直接的边界框预测。
• 提出自适应特征选择（AFS），根据表达内容动态融合来自多个卷积层的视觉特征，以增强特征的判别能力。
• 设计全局注意力重推理单元（GARAN），以文本特征为基准，在所有图像区域之间收集并传播与查询相关的视觉上下文。
• 在 GARAN 中使用可微分注意力机制，并利用真实边界框来提升对齐与推理性能。
• 采用以 ZSGNet 为骨干网络的多尺度 RealGIN 变体，以处理 Flickr30k 和 ReferIt 等数据集中多样的物体尺寸。
• 端到端训练整个模型，以确保快速、高效且准确的推理。

实验结果

研究问题

• RQ1 单阶段端到端网络是否能在不牺牲准确率的前提下实现实时指代表达理解？
• RQ2 如何自适应地融合来自多个语义层级的视觉特征，以应对多样的指代表达？
• RQ3 何种机制能够实现在单阶段REC中对复杂语言条件的有效全局推理？
• RQ4 单阶段模型在无需额外微调的情况下，对未见物体类别的泛化能力如何？

主要发现

• RealGIN 在 RefCOCO、RefCOCO+ 和 RefCOCOg 上实现了具有竞争力的性能，准确率接近最先进方法 MAttNet，但速度显著更快。
• 在 RefCOCO、RefCOCO+ 和 RefCOCOg 上，RealGIN 分别取得了 74.8、67.2 和 58.9 的 mAP 分数，优于大多数先前方法。
• RealGIN 的推理速度达到 26.3 FPS，约为现有多阶段方法（1.3–2.1 FPS）的10倍。
• 在 Flickr30k 和 ReferIt 上，采用多尺度变体的 RealGIN 显著优于现有方法，包括 ZSGNet，验证了 AFS 和 GARAN 的有效性。
• 定性分析表明，RealGIN 能够有效处理具有多个属性和长描述的复杂表达，并学习到预训练中未见的视觉概念（如 'horse ass'）。
• 失败案例主要源于标签噪声、表达模糊以及罕见视觉概念（如 'sun shining'、'number 2'），表明训练数据和骨干网络预训练范围存在局限。