[论文解读] Automatic Generation of Grounded Visual Questions

Shijie Zhang, Lizhen Qu+3 more|arXiv (Cornell University)|Dec 20, 2016

Multimodal Machine Learning Applications参考文献 11被引用 11

一句话总结

该论文提出首个端到端模型，可从单张图像自动生成多样化、视觉相关的提问，利用密集字幕和多阶段框架，选择问题类型并生成语法正确、语境相关的提问。该模型显著优于基线模型，在VQA数据集上的覆盖率最高提升216%，且在所有评估指标上均表现出更优的语法正确性和相关性。

ABSTRACT

In this paper, we propose the first model to be able to generate visually grounded questions with diverse types for a single image. Visual question generation is an emerging topic which aims to ask questions in natural language based on visual input. To the best of our knowledge, it lacks automatic methods to generate meaningful questions with various types for the same visual input. To circumvent the problem, we propose a model that automatically generates visually grounded questions with varying types. Our model takes as input both images and the captions generated by a dense caption model, samples the most probable question types, and generates the questions in sequel. The experimental results on two real world datasets show that our model outperforms the strongest baseline in terms of both correctness and diversity with a wide margin.

研究动机与目标

• 解决缺乏自动、多样化视觉问题生成方法的问题，以确保生成的问题基于视觉输入。
• 克服现有系统仅对每张图像生成一个问题或依赖僵化规则模式的局限性。
• 开发一种模型，能够利用视觉和文本特征，为每张图像生成多个多样化且语法正确的提问。
• 提升VQA数据集中问题的多样性和覆盖率，这些数据集常因人工筛选而受限。
• 通过自动化、高质量的问题生成，实现VQA系统更强大和可扩展的训练。

提出的方法

• 该模型使用DenseCap从输入图像生成密集、全面的字幕，提供丰富的视觉上下文。
• 问题类型选择模块基于密集字幕采样最可能的问题类型（如“什么”、“哪里”、“如何”）。
• 问题生成器整合视觉特征（来自VGG-16）、密集字幕和选定的问题类型，以生成自然语言问题。
• 在解码过程中集成一个二元语言模型，以提升流畅性并减少重复，从而增强语法正确性。
• 该框架在两个基准数据集（Visual7W和VQA）上端到端训练，采用带有注意力机制的序列到序列学习方法。
• 评估使用图像字幕和机器翻译中的标准指标（BLEU、ROUGE-L、METEOR），并分析每张图像生成多个问题时的覆盖率。

实验结果

研究问题

• RQ1 能否通过自动模型从单张图像生成多个多样化且视觉相关的提问？
• RQ2 该模型在问题多样性和覆盖率方面与人工筛选的数据集及现有基线相比如何？
• RQ3 集成二元语言模型在多大程度上提升了生成问题的语法正确性和流畅性？
• RQ4 该模型在保持与视觉内容高度相关性的同时，能否在不同类型问题上实现良好泛化？
• RQ5 随着每张图像生成问题数量的增加，该模型的性能如何变化？

主要发现

• 在每张图像生成六个问题时，该模型在VQA数据集上的METEOR覆盖率相比最强基线最高提升216%。
• 在VQA数据集上，该模型的BLEU-4得分相比基线提高97%，表明其与参考问题在n-gram对齐方面表现更优。
• ROUGE-L得分持续提升，证实该模型生成的问题与参考答案具有更长且更准确的公共子序列。
• 集成二元语言模型显著减少了重复（如“the the”）并提升了流畅性，这从高阶n-gram的BLEU得分提升中得到验证。
• 该模型生成的问题类型分布比人工筛选的数据集更均衡，后者严重偏向“什么”类问题（Visual7W中占55%，VQA中占89%）。
• 生成问题的长度分布与人工标注问题非常接近，表明其句长自然且多样化。