[论文解读] Understanding Visual Ads by Aligning Symbols and Objects using Co-Attention

Karuna Ahuja, Karan Sikka+2 more|arXiv (Cornell University)|Jul 4, 2018

Multimodal Machine Learning Applications参考文献 25被引用 12

一句话总结

本文在视觉-语义嵌入框架内提出了一种多跳协同注意力机制，通过将图像区域与符号引用对齐，以提升视觉广告理解能力。通过在视觉提议与符号之间迭代优化注意力，该模型在 Ad 数据集上实现了 6.58 的平均排名，显著优于基线方法，有效捕捉了弱监督设置下符号与语义的细微差别。

ABSTRACT

We tackle the problem of understanding visual ads where given an ad image, our goal is to rank appropriate human generated statements describing the purpose of the ad. This problem is generally addressed by jointly embedding images and candidate statements to establish correspondence. Decoding a visual ad requires inference of both semantic and symbolic nuances referenced in an image and prior methods may fail to capture such associations especially with weakly annotated symbols. In order to create better embeddings, we leverage an attention mechanism to associate image proposals with symbols and thus effectively aggregate information from aligned multimodal representations. We propose a multihop co-attention mechanism that iteratively refines the attention map to ensure accurate attention estimation. Our attention based embedding model is learned end-to-end guided by a max-margin loss function. We show that our model outperforms other baselines on the benchmark Ad dataset and also show qualitative results to highlight the advantages of using multihop co-attention.

研究动机与目标

• 为解决通过建模图像中的符号与语义引用来理解视觉广告的挑战。
• 通过利用符号与情感的弱监督信号，提升图像与人工生成语句之间的多模态匹配性能。
• 克服标准注意力机制在处理图像区域与符号引用之间多对多映射时的局限性。
• 开发一种协同注意力机制，通过迭代优化注意力图以实现更好的对齐与表征学习。
• 证明多跳协同注意力在捕捉视觉广告中复杂符号与语义关系方面的有效性。

提出的方法

• 该模型采用多跳协同注意力机制，通过在多个迭代步骤中交替基于符号表征关注图像区域，反之亦然。
• 使用 ResNet-101 从顶部 70 个目标提议中提取图像特征，而符号表征则通过弱监督符号检测模型的预训练得分进行初始化。
• 注意力图通过迭代方式逐步优化，每一步均基于前一阶段的注意力输出进行条件控制，从而实现视觉与符号模态之间的渐进式对齐。
• 最终的多模态嵌入通过融合所有协同注意力跳跃步骤中的注意力视觉与符号特征形成。
• 模型采用端到端训练，损失函数为最大边缘损失，旨在使正样本图像-句子对的相似度得分高于负样本对。
• 该框架通过将自底向上与自顶向下注意力相结合，以目标提议作为视觉锚点，并利用符号线索引导注意力。

实验结果

研究问题

• RQ1 多跳协同注意力能否改善视觉广告中视觉区域与符号引用之间的对齐？
• RQ2 注意力图的迭代优化在弱监督广告理解中的多模态匹配性能方面有何影响？
• RQ3 协同注意力是否在建模广告中复杂符号关系方面优于标准的自顶向下或自底向上注意力机制？
• RQ4 符号初始化得分与注意力图优化在 Ad 数据集上的性能提升中分别起到多大作用？
• RQ5 所提出方法在区域-符号关联模糊的弱标注数据上是否具备泛化能力？

主要发现

• 所提出的 VSE-CoAtt-2 模型在 Ad 数据集上实现了 6.58 的平均排名，显著优于基线模型 VSE（平均排名 7.79）。
• 与单跳协同注意力（VSE-CoAtt）相比，多跳协同注意力（VSE-CoAtt-2）将平均排名降低了 0.10，证明了迭代优化的优越性。
• 该模型优于 VSE-P-Att（平均排名 7.35），后者使用固定的注意力模板，凸显了动态、注意力引导对齐的优势。
• 使用每个符号的概率进行注意力初始化（VSE-CoAtt-wt 与 VSE-CoAtt-2-wt）导致性能略有下降（平均排名分别为 6.77 和 6.75），表明在数据有限时可能存在过拟合。
• 消融实验确认，多跳协同注意力对于捕捉视觉广告中细微的符号与语义关系至关重要。
• 该模型在注意力定位方面表现出定性改进，能够正确将如 'death' 等符号与 PSA 广告中的相关图像区域对齐。