[论文解读] Diverse and Coherent Paragraph Generation from Images

Moitreya Chatterjee, Alexander G. Schwing|arXiv (Cornell University)|Sep 3, 2018

Multimodal Machine Learning Applications被引用 6

一句话总结

该论文提出了一种基于变分自编码器的新模型，用于从图像生成多样且连贯的段落，引入了'连贯向量'以确保句子间主题的一致性，并引入了'全局主题向量'以保留整体图像上下文。该方法在斯坦福图像-段落和亚马逊产品评论数据集上均优于当前最先进方法，在自动评估与人工评估指标上均取得了最先进结果。

ABSTRACT

Paragraph generation from images, which has gained popularity recently, is an important task for video summarization, editing, and support of the disabled. Traditional image captioning methods fall short on this front, since they aren't designed to generate long informative descriptions. Moreover, the vanilla approach of simply concatenating multiple short sentences, possibly synthesized from a classical image captioning system, doesn't embrace the intricacies of paragraphs: coherent sentences, globally consistent structure, and diversity. To address those challenges, we propose to augment paragraph generation techniques with 'coherence vectors', 'global topic vectors', and modeling of the inherent ambiguity of associating paragraphs with images, via a variational auto-encoder formulation. We demonstrate the effectiveness of the developed approach on two datasets, outperforming existing state-of-the-art techniques on both.

研究动机与目标

• 为解决现有图像段落生成模型中缺乏连贯性和多样性的问题，这些模型常生成不连贯或重复的叙述。
• 通过利用变分自编码技术，对图像与多个合理段落之间固有的模糊性进行建模。
• 通过显式向量表示，确保句子间主题一致，同时保留全局图像上下文。
• 生成更长、更自然、更多样化的段落，以反映细微的视觉互动与情节结构。

提出的方法

• 引入'连贯向量'，用于编码最近生成句子的主题，以确保句子间主题过渡的平滑性。
• 采用'全局主题向量'捕捉整体图像内容，保持与图像主要情节的一致性。
• 使用变分自编码器（VAE）框架对段落生成中的潜在不确定性进行建模，通过随机采样实现多样且连贯的输出。
• 结合连贯向量、全局主题向量与句子级表征，对自回归解码器进行条件控制，以实现连贯的段落生成。
• 使用最大似然目标与VAE正则化进行训练，提升输出的多样性与泛化能力。
• 评估了基于GAN与基于VAE的两种训练设置，其中VAE变体表现出更优的性能与稳定性。

实验结果

研究问题

• RQ1 显式建模句子间的连贯性是否能提升图像生成段落的叙事质量？
• RQ2 在段落生成过程中，如何在多句之间保持全局图像语义的一致性？
• RQ3 变分自编码是否能有效建模图像到段落映射中的模糊性，从而生成多样且连贯的输出？
• RQ4 与先前方法相比，引入连贯向量是否能生成更接近人类、主题一致的叙述？
• RQ5 所提出方法在图像字幕之外，是否能泛化到其他文本生成任务（如产品评论生成）？

主要发现

• 在斯坦福图像-段落数据集上，该模型在基于VAE的训练设置下取得了最先进性能，CIDEr得分为46.32，METEOR得分为37.45。
• 在亚马逊产品评论数据集上，该模型显著优于所有基线模型，展现出超越图像字幕任务的强泛化能力。
• 基于VAE的训练设置优于基于GAN的设置，CIDEr与METEOR得分更高，可能归因于训练稳定性。
• 消融研究证实，连贯向量对于减少句子间主题突变至关重要，移除后导致主题转换更加突兀。
• 通过采样不同的潜在代码，模型能从同一张图像生成多样化的段落，如附录结果与图7所示。
• 模型成功捕捉了如'停车场'等元概念以及产品图像中的评分所反映的情感线索，表明其对场景语义具有稳健理解。