[论文解读] Automatic Description Generation from Images: A Survey of Models, Datasets, and Evaluation Measures

Raffaella Bernardi, Ruket Çakıcı+7 more|arXiv (Cornell University)|Jan 15, 2016

Multimodal Machine Learning Applications参考文献 96被引用 10

一句话总结

本综述对自动图像描述系统进行了全面分析，将其分类为基于生成的模型与基于检索的模型，回顾了关键数据集与评估指标，并指出了诸如描述质量接近人类水平以及与人类判断的相关性等挑战。文章强调了视觉与语言融合在生成更自然、更具上下文意识的图像描述中的作用，并提出了未来在多模态理解与多语言系统方面的研究方向。

ABSTRACT

Automatic description generation from natural images is a challenging problem that has recently received a large amount of interest from the computer vision and natural language processing communities. In this survey, we classify the existing approaches based on how they conceptualize this problem, viz., models that cast description as either generation problem or as a retrieval problem over a visual or multimodal representational space. We provide a detailed review of existing models, highlighting their advantages and disadvantages. Moreover, we give an overview of the benchmark image datasets and the evaluation measures that have been developed to assess the quality of machine-generated image descriptions. Finally we extrapolate future directions in the area of automatic image description generation.

研究动机与目标

• 根据其底层概念化方式——在视觉空间或多模态空间中进行生成与检索——对现有的自动图像描述方法进行分类与分析。
• 回顾用于评估图像字幕系统的基准数据集与评估度量，识别当前评估指标的局限性。
• 识别在实现人类水平图像描述性能方面面临的关键挑战，包括内容选择、语言连贯性以及在视觉上下文中的定位。
• 探讨未来研究方向，如视觉问答、多语言描述系统以及改进的评估框架。
• 通过突出图像描述作为多模态理解测试平台的作用，弥合计算机视觉与自然语言处理之间的差距。

提出的方法

• 将图像描述模型分类为三类：直接从图像生成、从视觉空间检索、从多模态（视觉-语言）空间检索。
• 分析编码器-解码器架构等深度学习模型，其通过注意力机制将图像特征映射为自然语言描述。
• 调查主要数据集，如 MS COCO、Flickr30K 和 IAPR-TC12，这些数据集提供了用于训练与评估的图像-字幕对。
• 评估自动度量如 BLEU、ROUGE、CIDEr 和 SPICE，评估其与人类判断的相关性。
• 研究利用视觉或多模态嵌入将图像与数据库中现有字幕匹配的基于检索的方法。
• 讨论内容选择、文本规划与表面实现等在图像自然语言生成流程中的作用。

实验结果

研究问题

• RQ1 基于生成与基于检索的模型在自动图像描述方法上存在哪些差异？各自的优缺点是什么？
• RQ2 当前的自动评估度量与人类对字幕质量判断的相关性有多大？
• RQ3 图像具体性变化如何影响图像字幕系统的性能与多样性？
• RQ4 多模态表征在提升生成描述的准确性与自然性方面发挥什么作用？
• RQ5 在推动图像描述技术发展方面，哪些未来方向（如多语言系统或视觉问答）最具前景？

主要发现

• 当前的自动评估度量如 BLEU 和 ROUGE 与人类判断的相关性仅中等，表明需要更复杂的评估方法。
• CIDEr 度量通过考虑 n-gram 共现与参考描述多样性，在捕捉语义相关性方面优于 BLEU 和 ROUGE。
• 基于检索的模型通常在标准基准上优于基于生成的模型，因其依赖于人工标注的字幕。
• 基于生成的模型，尤其是采用注意力机制的模型，能生成更多样化且更符合上下文的描述，但需要大规模标注数据。
• 结合视觉与语言特征的多模态检索方法在匹配图像与描述方面比单模态方法具有更高的准确性。
• 尽管已有进展，系统性能在流畅性、准确性与上下文定位方面仍显著低于人类水平的字幕生成。