[论文解读] Look Before You Leap: Learning Landmark Features for One-Stage Visual Grounding

Binbin Huang, Dongze Lian+2 more|arXiv (Cornell University)|Apr 9, 2021

Multimodal Machine Learning Applications参考文献 32被引用 9

一句话总结

该论文提出LBYL-Net，一种单阶段视觉定位模型，通过基于动态最大池化的地标特征卷积模块学习地标特征，提升定位性能。通过利用上下文感知的全局感受野特征建模物体间的空间关系，该方法在ReferitGame上达到最先进性能，在RefCOCO/RefCOCO+上取得具有竞争力的结果，通过高效、端到端训练实现，无需额外参数。

ABSTRACT

An LBYL (`Look Before You Leap') Network is proposed for end-to-end trainable one-stage visual grounding. The idea behind LBYL-Net is intuitive and straightforward: we follow a language's description to localize the target object based on its relative spatial relation to `Landmarks', which is characterized by some spatial positional words and some descriptive words about the object. The core of our LBYL-Net is a landmark feature convolution module that transmits the visual features with the guidance of linguistic description along with different directions. Consequently, such a module encodes the relative spatial positional relations between the current object and its context. Then we combine the contextual information from the landmark feature convolution module with the target's visual features for grounding. To make this landmark feature convolution light-weight, we introduce a dynamic programming algorithm (termed dynamic max pooling) with low complexity to extract the landmark feature. Thanks to the landmark feature convolution module, we mimic the human behavior of `Look Before You Leap' to design an LBYL-Net, which takes full consideration of contextual information. Extensive experiments show our method's effectiveness in four grounding datasets. Specifically, our LBYL-Net outperforms all state-of-the-art two-stage and one-stage methods on ReferitGame. On RefCOCO and RefCOCO+, Our LBYL-Net also achieves comparable results or even better results than existing one-stage methods.

研究动机与目标

• 为解决单阶段视觉定位方法在捕捉物体间长程上下文关系方面的局限性。
• 通过用统一轻量级架构替代两阶段流程，实现端到端可训练、实时视觉定位。
• 利用编码语言中相对位置和描述属性的地标特征建模空间关系。
• 通过无参数卷积模块为网格特征赋予全局方向感知上下文，提升定位精度。
• 证明除预定义物体类别（如“红色墙壁”）之外的上下文线索对定位至关重要，并可被有效学习。

提出的方法

• LBYL-Net框架使用特征金字塔网络（FPN）从图像中提取多尺度视觉特征。
• 引入地标特征卷积（LFC）模块，通过动态最大池化（DMP）将空间相关区域的地标特征传播至目标物体。
• DMP是一种低复杂度的动态规划算法，可计算跨不同方向的最优特征聚合路径，实现全局感受野和方向感知，且无需额外参数。
• 地标特征从语义或空间显著区域（如“棕色椅子”、“红色墙壁”）提取，并通过最大池化从粗粒度特征图中池化。
• 最终特征表示结合目标物体的视觉特征与LFC模块提供的上下文增强特征，实现联合检测与匹配。
• 模型采用检测与匹配范式进行端到端训练，模仿人类‘先看后动’的行为，在定位前评估空间上下文。

实验结果

研究问题

• RQ1 单阶段视觉定位模型是否能在不依赖区域提议的情况下有效建模物体间的长程空间关系？
• RQ2 如何高效提取与聚合地标特征，以在保持低计算成本的同时提升定位精度？
• RQ3 引入非物体实体（如背景线索“墙壁”或“桌子”）是否能提升定位性能？
• RQ4 所提出的动态最大池化（DMP）与空洞卷积、可变形卷积及非局部网络等现有模块相比，在建模空间上下文方面表现如何？
• RQ5 模型性能在多大程度上依赖于动态最大池化过程中分区数（P）？

主要发现

• 在ReferitGame上，LBYL-Net在IoU阈值0.5下达到65.48%的精确率（Pr@0.5），优于所有先前的单阶段与两阶段方法。
• 消融实验表明，地标特征卷积（LFC）对性能贡献最大，在IoU 0.75下使Pr@0.5提升超过3%，而BFPN与FiLM仅分别提升1%。
• 当动态最大池化中P=4时，性能趋于饱和，表明在ReferitGame数据集中四个空间分区已足够捕捉方向性上下文。
• 当P=8时，模型达到65.58%的Pr@0.5，表明进一步分区无法带来显著增益，可能受数据集特异性限制。
• 可视化结果证实，地标特征聚焦于语义相关的提示，如“红色墙壁”或“棕色椅子”，即使这些并非标准数据集中预定义的对象。
• LFC模块优于高斯嵌入非局部网络、可变形卷积（核大小=3）与空洞卷积（空洞率=3），证明其在建模全局上下文与低复杂度方面具有优越性。