[论文解读] A Hierarchical Approach for Generating Descriptive Image Paragraphs

Jonathan Krause, Justin Johnson+2 more|arXiv (Cornell University)|Nov 20, 2016

Multimodal Machine Learning Applications参考文献 31被引用 12

一句话总结

本文提出一种分层深度学习模型，通过将图像分解为语义区域、将段落分解为句子，利用分层循环神经网络生成连贯、详尽的图像描述段落。该方法在流畅性、多样性及与图像内容的相关性方面显著优于传统图像字幕和密集字幕生成方法，实现了在语言复杂度和上下文连贯性上的显著提升。

ABSTRACT

Recent progress on image captioning has made it possible to generate novel sentences describing images in natural language, but compressing an image into a single sentence can describe visual content in only coarse detail. While one new captioning approach, dense captioning, can potentially describe images in finer levels of detail by captioning many regions within an image, it in turn is unable to produce a coherent story for an image. In this paper we overcome these limitations by generating entire paragraphs for describing images, which can tell detailed, unified stories. We develop a model that decomposes both images and paragraphs into their constituent parts, detecting semantic regions in images and using a hierarchical recurrent neural network to reason about language. Linguistic analysis confirms the complexity of the paragraph generation task, and thorough experiments on a new dataset of image and paragraph pairs demonstrate the effectiveness of our approach.

研究动机与目标

• 为解决单句图像字幕（缺乏细节）和密集字幕（缺乏连贯性）的局限性，提出段落级图像描述作为新任务。
• 开发一种能够分层推理视觉与语言结构的模型，将图像分解为语义区域，将段落分解为组成句子。
• 通过语言学分析验证段落生成的复杂性，并在新收集的图像-段落数据集上展示分层建模的有效性。
• 探索从区域级字幕到段落生成的知识迁移方法。
• 证明即使仅提供检测到的部分图像区域，模型仍能生成有意义且聚焦的段落。

提出的方法

• 该模型采用分层循环神经网络（RNN），在句子和段落两个层次处理语言，实现对多个句子的长期推理。
• 利用目标检测和区域提议网络将图像分解为语义区域，为语言模型提供视觉特征。
• 分层RNN架构按顺序处理句子，高层RNN关注低层句子表示，以保持段落内部的连贯性。
• 通过在大规模区域字幕数据集（Visual Genome）上进行预训练，实现知识迁移，从而提升段落生成性能。
• 采用语言建模损失与对齐损失的组合进行端到端训练，以优化流畅性、相关性与多样性。
• 通过仅使用前k个检测到的区域生成段落，评估可解释性，证明模型对相关图像区域具有聚焦注意力。

实验结果

研究问题

• RQ1 分层深度学习模型能否生成超越单句字幕的连贯、详尽的图像描述？
• RQ2 对图像与语言进行分层建模，相较于自回归或模板基线方法，如何提升生成段落的质量与连贯性？
• RQ3 从区域级字幕中迁移知识，能在多大程度上改善段落生成性能？
• RQ4 生成段落的语言学特性（如多样性、词性分布）与人类撰写的描述相比如何？
• RQ5 当仅提供少量图像区域时，模型能否生成有意义且聚焦的段落？

主要发现

• 该分层模型生成的段落平均长度为70.47个词符，显著长于基于句子的方法（Sentence-Concat为56.18），且长度变化更接近人类水平（67.51），体现出更高的可变性。
• 模型的多样性得分为2.13，远高于Sentence-Concat基线（0.95）和模板方法（0.00），表明语言多样性显著提升。
• 与模板方法（422个唯一词符）相比，模型生成的段落中代词占比更高（13.53%），且词汇量更大（1989个唯一词符），体现出更强的语言复杂度。
• 即使仅提供少量检测到的图像区域，模型仍能生成与输入区域相关、聚焦的段落，展现出强大的可解释性与对稀疏输入的鲁棒性。
• 人工评估确认，与基线相比，该模型生成的输出更具流畅性与上下文连贯性，与图像内容匹配度更高，重复现象更少。
• 在自动评估与人工评估中，该模型均显著优于强基线模型，证实了分层建模与从区域级字幕迁移知识的有效性。