[论文解读] Generation and Comprehension of Unambiguous Object Descriptions

Junhua Mao, Jonathan Huang+4 more|arXiv (Cornell University)|Nov 7, 2015

Multimodal Machine Learning Applications参考文献 54被引用 127

一句话总结

本文提出了一种联合深度学习模型，用于在图像中生成和理解无歧义的指代表达，采用视觉-语言注意力机制，并基于 MS-COCO 构建了一个新型大规模数据集。该模型通过显式建模听者理解过程，显著优于基线方法，在完整测试集上达到 83.3% 的准确率，展现出强大的泛化能力与对语言变异的鲁棒性。

ABSTRACT

We propose a method that can generate an unambiguous description (known as a referring expression) of a specific object or region in an image, and which can also comprehend or interpret such an expression to infer which object is being described. We show that our method outperforms previous methods that generate descriptions of objects without taking into account other potentially ambiguous objects in the scene. Our model is inspired by recent successes of deep learning methods for image captioning, but while image captioning is difficult to evaluate, our task allows for easy objective evaluation. We also present a new large-scale dataset for referring expressions, based on MS-COCO. We have released the dataset and a toolbox for visualization and evaluation, see https://github.com/mjhucla/Google_Refexp_toolbox

研究动机与目标

• 开发一个统一框架，用于在复杂现实世界图像中生成和理解指代表达。
• 通过引入基于唯一性和可解释性的客观、判别性评估指标，解决图像字幕任务的局限性。
• 通过在生成过程中显式建模听者的理解过程，提升模型性能。
• 基于 MS-COCO 构建并发布一个大规模、高质量的现实世界图像指代表达数据集。
• 通过自动为图像区域生成指代表达，实现半监督训练。

提出的方法

• 该模型采用双流架构，结合卷积神经网络（CNNs）进行视觉特征提取，以及循环神经网络（RNNs）进行文本生成与理解。
• 采用注意力机制，将视觉区域与语言标记对齐，以提升判别性描述的生成效果。
• 通过共享视觉-语言表示，联合训练生成与理解任务，同时优化无歧义描述与正确区域检索。
• 利用弱监督学习策略，通过模型自身预测自动为图像区域生成指代表达。
• 系统采用概率解码机制，在理解过程中对候选区域进行排序，置信度区间由公式 6 定义。
• 通过在 MS-COCO 中对 100,000 个图像区域标注指代表达，构建新数据集，并发布可视化与评估工具箱。

实验结果

研究问题

• RQ1 深度学习模型能否在真实世界图像中以高准确率联合生成和理解指代表达？
• RQ2 建模听者的理解过程在多大程度上提升了生成描述的质量与唯一性？
• RQ3 在使用自动生成的指代表达时，模型在多大程度上可实现半监督训练？
• RQ4 模型对语言变异（如词序变化或同义词替换）的鲁棒性如何？
• RQ5 当仅依赖词嵌入会失效时，模型是否仍能正确理解空间与关系描述？

主要发现

• 在结合强标签数据与自动生成标签数据进行训练时，完整模型在测试集上达到 83.3% 的准确率，显著优于基线模型。
• 该模型的生成模块产生的描述更具判别性，例如明确指出“左边的男人”而非仅“一个男人”，从而解决歧义。
• 理解模型即使对复杂短语如“一匹背着女人的黑马”也能正确识别指代对象，并在单个词更改（如“黑色”变为“红色”）时保持高准确率。
• 失败案例包括：当指代对象在视觉上无法检测到（如尺寸过小或被遮挡）时发生误识别，或当描述涉及不存在的属性（如“穿白衣服的女人”但实际穿黑色）时出错。
• 该模型对分布外描述（包括训练数据中未出现的自定义短语）展现出强大的泛化能力，在 80% 的测试案例中做出正确预测。
• 使用自动生成描述进行半监督训练，使性能相比纯监督训练提升 5.1%，证明了弱监督的有效性。