[论文解读] Information Maximizing Visual Question Generation

Ranjay Krishna, Michael S. Bernstein+1 more|arXiv (Cornell University)|Mar 27, 2019

Multimodal Machine Learning Applications参考文献 66被引用 9

一句话总结

本文提出了一种信息最大化视觉问题生成模型，通过最大化图像、问题与预期答案类别之间的互信息，生成目标导向且多样化的提问。该模型采用变分潜在空间并引入双重正则化，实现了在有无真实答案的情况下均能生成问题，显著提升了真实场景部署中的问题多样性与视觉概念发现能力。

ABSTRACT

Though image-to-sequence generation models have become overwhelmingly popular in human-computer communications, they suffer from strongly favoring safe generic questions ("What is in this picture?"). Generating uninformative but relevant questions is not sufficient or useful. We argue that a good question is one that has a tightly focused purpose --- one that is aimed at expecting a specific type of response. We build a model that maximizes mutual information between the image, the expected answer and the generated question. To overcome the non-differentiability of discrete natural language tokens, we introduce a variational continuous latent space onto which the expected answers project. We regularize this latent space with a second latent space that ensures clustering of similar answers. Even when we don't know the expected answer, this second latent space can generate goal-driven questions specifically aimed at extracting objects ("what is the person throwing"), attributes, ("What kind of shirt is the person wearing?"), color ("what color is the frisbee?"), material ("What material is the frisbee?"), etc. We quantitatively show that our model is able to retain information about an expected answer category, resulting in more diverse, goal-driven questions. We launch our model on a set of real world images and extract previously unseen visual concepts.

研究动机与目标

• 解决现有视觉问题生成模型因最大似然训练而导致的问题过于通用、缺乏信息量的局限性。
• 设计一种目标导向的问题生成框架，旨在引发特定答案类别（如物体、属性、颜色或材质）的回应。
• 克服在互信息最大化过程中离散语言标记的不可微性以及变分模型中的后验坍缩问题。
• 通过在答案类别上学习正则化的潜在空间，实现在预期答案未知时仍能生成问题。
• 评估并展示模型在真实世界图像数据集中发现新型视觉概念的能力。

提出的方法

• 将视觉问题生成建模为变分自编码器，通过连续潜在空间最大化图像、问题与预期答案之间的互信息。
• 引入主潜在空间以联合表示图像-问题-答案，并引入由答案类别正则化的次级潜在空间，以防止后验坍缩。
• 在图像和答案表示上使用重建损失，以确保潜在空间保留问题生成的相关信息。
• 最小化主潜在空间与次级潜在空间之间的KL散度，以使模型的问题生成与答案类别期望保持一致。
• 在VQA数据集上进行训练，其中对前500个答案标注了15种类别的答案，以实现类别感知的问题生成。
• 在真实世界社交媒体图像上部署模型，使用ResNet18分类器预测答案类别，随后在无真实答案的情况下生成问题。

实验结果

研究问题

• RQ1 能否训练一个视觉问题生成模型，使其生成的问题不具通用性，而是聚焦于特定答案类别（如物体、属性、颜色或材质）？
• RQ2 尽管离散语言标记不可微，如何最大化图像、问题与预期答案之间的互信息？
• RQ3 双潜在空间架构能否防止后验坍缩，并在预期答案未知时实现有效的问题生成？
• RQ4 该模型在多大程度上能生成多样化的、新颖的问题，以发现真实世界图像中此前未见的视觉概念？
• RQ5 在与图像和答案的相关性、多样性以及互信息方面，该模型的性能与基线方法相比如何？

主要发现

• 与基线模型V-IC2Q相比，该模型生成的问题显著更具多样性，在真实世界部署中，411个问题中发现了80个新型物体概念，而基线仅发现10个。
• 在真实世界部署中，该模型生成的97.2%的问题与预期答案类别相关，而基线仅为56.8%。
• 该模型在问题生成多样性方面表现更优，尤其在“形状”和“材质”类别中，生成了如“____是由什么[形状/材质]制成的？”等未见过的问题。
• 即使在无真实答案的情况下生成问题，该模型仍保持与图像的强相关性（众包评估中相关性达100%）。
• 通过答案类别正则化的第二重潜在空间，提升了泛化能力，并减少了对训练集中特定答案的过拟合。
• 尽管因答案无关生成导致语言建模得分较低，该模型仍生成了高质量、上下文相关的提问，如“蝙蝠是由什么制成的？”