[论文解读] Instance-aware Image and Sentence Matching with Selective Multimodal LSTM

Yan Huang, Wei Wang+1 more|arXiv (Cornell University)|Nov 17, 2016

Multimodal Machine Learning Applications参考文献 30被引用 8

一句话总结

本文提出了一种选择性多模态长短期记忆网络（sm-LSTM），通过使用多模态上下文调制注意力机制，动态选择显著的图像与句子实例对，实现实例感知的图像与句子匹配。该模型通过LSTM隐藏状态依次测量局部相似性并进行聚合，从而生成全局匹配分数，在图像字幕生成和检索基准测试中实现了最先进性能，有效利用全局上下文以提升实例选择效果。

ABSTRACT

Effective image and sentence matching depends on how to well measure their global visual-semantic similarity. Based on the observation that such a global similarity arises from a complex aggregation of multiple local similarities between pairwise instances of image (objects) and sentence (words), we propose a selective multimodal Long Short-Term Memory network (sm-LSTM) for instance-aware image and sentence matching. The sm-LSTM includes a multimodal context-modulated attention scheme at each timestep that can selectively attend to a pair of instances of image and sentence, by predicting pairwise instance-aware saliency maps for image and sentence. For selected pairwise instances, their representations are obtained based on the predicted saliency maps, and then compared to measure their local similarity. By similarly measuring multiple local similarities within a few timesteps, the sm-LSTM sequentially aggregates them with hidden states to obtain a final matching score as the desired global similarity. Extensive experiments show that our model can well match image and sentence with complex content, and achieve the state-of-the-art results on two public benchmark datasets.

研究动机与目标

• 解决一对一匹配方法忽略图像对象与句子词语之间局部实例级交互的局限性。
• 克服无差别多对多匹配带来的低效与噪声问题，通过仅关注显著的图像-句子实例对来实现选择性注意。
• 实现端到端训练，联合完成实例选择、局部相似性学习与全局相似性聚合，无需依赖外部检测器或标注。
• 通过利用多模态全局上下文引导动态、上下文感知的注意力机制，提升匹配准确性。

提出的方法

• 提出一种多模态上下文调制注意力机制，在每个LSTM时间步预测图像区域与句子词语的成对实例感知显著性图。
• 利用选中图像与句子实例的显著性加权表示来计算局部相似性分数。
• 采用LSTM架构通过隐藏状态依次聚合多个局部相似性，生成最终的全局匹配分数。
• 引入结构化目标，包含成对双随机正则化项，以鼓励在所有潜在实例间实现平衡的注意力分布。
• 利用全局视觉与文本上下文作为参考，引导选择性注意力，提升实例选择的鲁棒性与准确性。
• 使用结构化排序目标端到端训练整个模型，以保持匹配与未匹配图像-句子对之间相对相似性顺序。

实验结果

研究问题

• RQ1 序列注意力机制能否有效识别并聚焦于最语义相关的图像-句子实例对以实现匹配？
• RQ2 将全局多模态上下文引入注意力机制是否能提升实例选择的准确度与鲁棒性？
• RQ3 通过LSTM实现的选择性局部相似性度量与聚合是否能优于非选择性、全面的成对比较方法？
• RQ4 双随机正则化项的使用如何影响注意力分布与整体匹配性能？

主要发现

• sm-LSTM模型在图像字幕生成与图像检索基准测试中均实现了最先进性能，优于先前方法。
• 引入成对双随机正则化项显著提升了性能，λ = 100时取得最佳结果，尤其在图像标注任务中表现突出。
• 可视化结果表明，该模型在时间步上动态关注语义一致的图像区域与句子词语，如“giraffe”、“children”和“park”。
• 消融实验表明，全局上下文调制至关重要——若无此机制，模型在前几个时间步后无法关注到有意义的实例。
• 平均显著性图显示出中心偏置模式，与人类视觉注意模式一致，表明模型学习到了生物上合理的注意力动态。