[论文解读] Convolutional Auto-encoding of Sentence Topics for Image Paragraph Generation

Jing Wang, Yingwei Pan+3 more|arXiv (Cornell University)|Aug 1, 2019

Multimodal Machine Learning Applications参考文献 26被引用 12

一句话总结

该论文提出CAE-LSTM，一种新颖的框架，利用卷积自编码技术从图像区域特征中提炼出整体性、代表性主题，以提升图像段落生成质量。通过用卷积编码-解码结构替代基于LSTM的主题建模，并将这些主题整合到带有注意力机制和基于覆盖的自critical训练的两级LSTM中，CAE-LSTM在斯坦福图像段落数据集上实现SOTA性能，将CIDEr得分从20.93%提升至25.15%。

ABSTRACT

Image paragraph generation is the task of producing a coherent story (usually a paragraph) that describes the visual content of an image. The problem nevertheless is not trivial especially when there are multiple descriptive and diverse gists to be considered for paragraph generation, which often happens in real images. A valid question is how to encapsulate such gists/topics that are worthy of mention from an image, and then describe the image from one topic to another but holistically with a coherent structure. In this paper, we present a new design --- Convolutional Auto-Encoding (CAE) that purely employs convolutional and deconvolutional auto-encoding framework for topic modeling on the region-level features of an image. Furthermore, we propose an architecture, namely CAE plus Long Short-Term Memory (dubbed as CAE-LSTM), that novelly integrates the learnt topics in support of paragraph generation. Technically, CAE-LSTM capitalizes on a two-level LSTM-based paragraph generation framework with attention mechanism. The paragraph-level LSTM captures the inter-sentence dependency in a paragraph, while sentence-level LSTM is to generate one sentence which is conditioned on each learnt topic. Extensive experiments are conducted on Stanford image paragraph dataset, and superior results are reported when comparing to state-of-the-art approaches. More remarkably, CAE-LSTM increases CIDEr performance from 20.93% to 25.15%.

研究动机与目标

• 解决在复杂图像中识别并组织多个多样化视觉要点/主题以实现连贯段落生成的挑战。
• 克服基于RNN的主题建模方法在利用图像区域之间空间关系方面的局限性。
• 提出一种方法，通过纯卷积自编码框架从区域级特征中提炼出具有代表性的整体主题。
• 将学习到的主题整合到层次化LSTM架构中，以确保生成段落中句子间的连贯性与全局物体覆盖度。
• 通过基于覆盖度的奖励机制在自critical训练中提升段落质量，以鼓励对图像内容的全面描述。

提出的方法

• 使用Faster R-CNN从输入图像中提取显著区域级特征，作为主题建模模块的输入。
• 采用卷积编码器通过在区域级特征上应用卷积操作来抽象图像主题，替代基于RNN的编码方式。
• 实现反卷积解码器，从提炼的主题中重建区域级特征，通过重建损失强制实现高质量表征。
• 通过平均池化融合区域级特征，形成用于段落生成的全局图像表征。
• 采用两级LSTM架构：段落级LSTM建模句子间依赖关系，而句子级LSTM则基于每个学习到的主题生成词语。
• 在自critical训练中引入覆盖度奖励，以鼓励全局物体覆盖度并减少生成句子中的重复现象。

实验结果

研究问题

• RQ1 与基于RNN的方法相比，卷积自编码框架是否能更好地从图像区域中捕捉整体性与代表性主题？
• RQ2 通过卷积自编码进行主题建模，如何影响图像字幕生成中段落的连贯性与多样性？
• RQ3 将主题感知生成与层次化LSTM及基于覆盖度的训练相结合，能在多大程度上提升段落质量与覆盖度？
• RQ4 所提出的CAE-LSTM框架是否能在标准基准上超越现有SOTA方法，在图像段落生成任务中表现更优？
• RQ5 各独立组件（如卷积编码、重建损失、覆盖度奖励）的消融实验对整体性能有何影响？

主要发现

• CAE-LSTM在斯坦福图像段落数据集上取得25.15的SOTA CIDEr得分，相比之前SOTA的20.93有显著提升。
• 消融研究证实，将基于LSTM的主题建模替换为卷积编码（CE）可带来性能提升，表明空间感知主题抽象具有优越性。
• 在CAE模块中增加重建损失（RL）可进一步提升性能，表明高保真重建有助于增强主题的代表性。
• 在自critical训练中引入覆盖度奖励（SC）可带来进一步性能增益，使生成段落更全面且重复更少。
• 通过图灵测试进行的人工评估显示，39.8%的CAE-LSTM生成段落与人类撰写段落无法区分，显著优于LSTM-ATT（14.7%），并接近人类水平（88.5%）。
• 定性结果表明，CAE-LSTM生成的段落更具连贯性与多样性，避免了基线模型中常见的重复短语（如“拿着网球拍”）问题。