[论文解读] Adaptive Reconstruction Network for Weakly Supervised Referring Expression Grounding

Xuejing Liu, Liang Li+4 more|arXiv (Cornell University)|Aug 28, 2019

Multimodal Machine Learning Applications参考文献 39被引用 6

一句话总结

本文提出一种用于弱监督指代表达定位的端到端自适应重建网络（ARN），通过分层注意力机制建模主体、位置和上下文特征，以自适应地定位指代表达。该方法通过联合优化语言重建、自适应特征重建和属性分类损失，在四个基准数据集上实现了最先进性能。

ABSTRACT

Weakly supervised referring expression grounding aims at localizing the referential object in an image according to the linguistic query, where the mapping between the referential object and query is unknown in the training stage. To address this problem, we propose a novel end-to-end adaptive reconstruction network (ARN). It builds the correspondence between image region proposal and query in an adaptive manner: adaptive grounding and collaborative reconstruction. Specifically, we first extract the subject, location and context features to represent the proposals and the query respectively. Then, we design the adaptive grounding module to compute the matching score between each proposal and query by a hierarchical attention model. Finally, based on attention score and proposal features, we reconstruct the input query with a collaborative loss of language reconstruction loss, adaptive reconstruction loss, and attribute classification loss. This adaptive mechanism helps our model to alleviate the variance of different referring expressions. Experiments on four large-scale datasets show ARN outperforms existing state-of-the-art methods by a large margin. Qualitative results demonstrate that the proposed ARN can better handle the situation where multiple objects of a particular category situated together.

研究动机与目标

• 解决弱监督指代表达定位的挑战，即在训练过程中缺乏真实对象-查询对齐信息。
• 克服先前方法仅依赖视觉外观特征、难以区分同一类别多个对象的局限性。
• 通过显式建模主体、位置和上下文特征，提升在复杂场景中存在多个相似对象时的定位鲁棒性。
• 构建一个端到端可训练的框架，联合优化定位与重建任务，以增强特征表示与定位精度。

提出的方法

• 使用Faster R-CNN和空间编码提取图像区域提议中的主体、位置和上下文特征，以表示相对与绝对位置。
• 利用循环网络将指代表达解析为主体、位置和上下文三部分，以建模语言结构。
• 实现分层注意力机制：首先对每个提议的主体、位置和上下文特征进行注意力聚合，然后根据查询语法融合特征。
• 设计协同损失函数，结合语言重建损失、主体/位置/上下文特征的自适应重建损失以及属性分类损失。
• 使用加权组合的三类损失分量联合训练整个模型，以端到端方式同步优化定位与重建。
• 通过消融研究调整超参数，并验证各损失分量对最终性能的贡献。

实验结果

研究问题

• RQ1 自适应注意力机制是否能通过根据查询语法动态加权主体、位置和上下文特征，从而提升定位性能？
• RQ2 协同重建（同时重建查询与中间特征）是否比单任务重建带来更优的表征学习效果？
• RQ3 属性分类与自适应特征重建在定位同一类别多个实例的密集场景中分别起到何种作用？
• RQ4 所提方法是否能在语法结构多变、特征依赖关系复杂的多样化指代表达中实现良好泛化？
• RQ5 在弱监督定位任务中，语言重建、自适应重建与属性分类损失之间的最优平衡比例如何？

主要发现

• ARN在RefCLEF数据集上达到26.19%的准确率（IoU > 0.5），相比之前SOTA方法提升10.36%。
• 仅使用语言重建损失相比之前SOTA性能提升6.03%，证明了自适应定位模块的有效性。
• 在仅使用语言重建的基础上增加自适应重建损失，准确率进一步提升3.49%，表明其在特征精炼中的价值。
• 属性分类损失带来额外0.84%的性能增益，表明其在增强类别特定定位中的作用。
• 消融研究确认，将语言重建损失权重设为30（γ = 30）时性能最优，完整损失组合（γ = 30, λ = 1）达到最佳结果。
• 定性结果表明，ARN在存在多个同类对象的复杂场景中（如多个穿白色衣服的男性）仍能成功定位目标。