[论文解读] C3VQG: Category Consistent Cyclic Visual Question Generation

Shagun Uppal, Anish Madan+3 more|arXiv (Cornell University)|May 15, 2020

Multimodal Machine Learning Applications参考文献 39被引用 5

一句话总结

C3VQG 提出了一种类别一致的循环变分自编码器用于视觉问题生成，通过利用图像与类别对，消除了对真实答案标注的需求。通过强制执行循环一致性与结构化潜在空间约束，该模型生成多样化、类别特定且与图像相关的提问，在多个指标上优于当前最先进（SOTA）的弱监督方法。

ABSTRACT

Visual Question Generation (VQG) is the task of generating natural questions based on an image. Popular methods in the past have explored image-to-sequence architectures trained with maximum likelihood which have demonstrated meaningful generated questions given an image and its associated ground-truth answer. VQG becomes more challenging if the image contains rich contextual information describing its different semantic categories. In this paper, we try to exploit the different visual cues and concepts in an image to generate questions using a variational autoencoder (VAE) without ground-truth answers. Our approach solves two major shortcomings of existing VQG systems: (i) minimize the level of supervision and (ii) replace generic questions with category relevant generations. Most importantly, by eliminating expensive answer annotations, the required supervision is weakened. Using different categories enables us to exploit different concepts as the inference requires only the image and the category. Mutual information is maximized between the image, question, and answer category in the latent space of our VAE. A novel category consistent cyclic loss is proposed to enable the model to generate consistent predictions with respect to the answer category, reducing redundancies and irregularities. Additionally, we also impose supplementary constraints on the latent space of our generative model to provide structure based on categories and enhance generalization by encapsulating decorrelated features within each dimension. Through extensive experiments, the proposed model, C3VQG outperforms state-of-the-art VQG methods with weak supervision.

研究动机与目标

• 通过用易于获取的类别标签替代昂贵的答案标注，减少视觉问题生成中的监督需求。
• 在不依赖真实答案的前提下，从图像中生成语义相关、多样化且类别特定的问题。
• 通过确保生成问题与其关联答案类别之间的一致性，提升问题质量。
• 通过结构化潜在空间约束（包括中心损失和潜在方差的超先验），增强模型的泛化能力与多样性。
• 通过建模图像与类别输入的多模态表示，实现更具创造性和上下文感知的问题生成。

提出的方法

• 在图像与类别对上训练变分自编码器（VAE），以学习一个联合潜在空间，最大化图像、问题与答案类别之间的互信息。
• 引入一种新颖的类别一致循环损失，确保在训练过程中生成的问题与指定的答案类别保持一致。
• 在联合潜在空间上应用中心损失，以增强按答案类别聚类样本，提升类别特异性。
• 在每个潜在维度的逆方差上施加超先验，以鼓励内在独立的特征，增强特征解耦与多样性。
• 采用两步训练流程：首先从图像与类别生成问题，然后从生成的问题中重建图像与类别，以强制实现循环一致性。
• 通过多目标损失函数联合优化图像重建、类别重建与问题生成。

实验结果

研究问题

• RQ1 是否可以通过仅使用图像与类别监督，而无需真实答案标注，有效实现视觉问题生成？
• RQ2 如何在图像、问题与类别之间强制实现循环一致性，以提升生成问题中答案类别的相关性？
• RQ3 结构化潜在空间约束（如中心损失、潜在方差的超先验）在多大程度上提升了生成问题的多样性与类别特异性？
• RQ4 用类别监督替代答案监督是否能带来更好的泛化能力并减少问题生成中的冗余？
• RQ5 在弱监督设置下，基于 VAE 的框架能否生成高质量、上下文相关且非通用的问题？

主要发现

• C3VQG 在 VQG 基准测试中取得 60.50 的 ROUGE-L 分数，优于无需答案监督的先前 SOTA 方法（Krishna et al., 2019）。
• 模型达到 97.80 的相关性得分，表明生成问题与输入图像之间具有高度语义对齐。
• 消融实验表明，循环一致性与中心损失的结合显著提升了类别一致性，减少了答案类别误分类。
• 在潜在方差上引入超先验，通过促进潜在空间中特征的去相关性，使问题生成更具多样性。
• 定性结果证实，C3VQG 生成的问题具有丰富的上下文信息，且无冗余，与指定答案类别保持一致；而基线模型常产生类别不一致的输出。
• 通过潜在空间中的类别特定约束，模型有效减少了通用问题的生成（如“是”、“我不知道”等）。