[论文解读] Exploring Diverse Methods in Visual Question Answering

Panfeng Li, Qikai Yang+4 more|arXiv (Cornell University)|Apr 21, 2024

Multimodal Machine Learning Applications被引用 4

一句话总结

本文研究了三种先进方法——生成对抗网络（GANs）、自编码器和结合多模态紧凑双线性池化（MCB）的注意力机制——在平衡VQA数据集上提升视觉问答（VQA）性能的效果。研究发现，自编码器模型在复杂问题上优于GANs，而MCB增强的注意力机制在整体性能上表现最佳，尤其在需要推理的任务中表现突出，尽管计算成本较高。

ABSTRACT

This study explores innovative methods for improving Visual Question Answering (VQA) using Generative Adversarial Networks (GANs), autoencoders, and attention mechanisms. Leveraging a balanced VQA dataset, we investigate three distinct strategies. Firstly, GAN-based approaches aim to generate answer embeddings conditioned on image and question inputs, showing potential but struggling with more complex tasks. Secondly, autoencoder-based techniques focus on learning optimal embeddings for questions and images, achieving comparable results with GAN due to better ability on complex questions. Lastly, attention mechanisms, incorporating Multimodal Compact Bilinear pooling (MCB), address language priors and attention modeling, albeit with a complexity-performance trade-off. This study underscores the challenges and opportunities in VQA and suggests avenues for future research, including alternative GAN formulations and attentional mechanisms.

研究动机与目标

• 评估GANs、自编码器和注意力机制在平衡数据集上提升VQA性能的有效性。
• 探究基于GAN的方法是否能有效学习基于图像-问题对的条件答案分布。
• 评估基于自编码器的嵌入学习是否能为复杂VQA任务提供更鲁棒的表示。
• 考察基于MCB的注意力机制在缓解语言偏置和提升多模态推理方面的作用。
• 识别不同问题类型（如是/否、数字、开放式）下模型复杂度与准确率之间的性能权衡。

提出的方法

• 使用预训练的ResNet提取图像特征，使用RNN编码问题嵌入，随后通过逐元素相乘和非线性变换进行融合。
• 设计了一种条件GAN框架，其中生成器基于图像-问题特征对生成答案嵌入，随机噪声以三种配置（N0、N1、N2）注入。
• 实现了两种生成器架构：一种为简单的单层线性头，另一种为具有ReLU激活的深层多层网络，两者均输出表示答案可能性的1000维向量。
• 采用预训练策略——具体为在判别器未训练的情况下预训练生成器——以稳定GAN训练并改善数据分布学习。
• 采用多模态紧凑双线性（MCB）池化来建模视觉与文本特征之间的跨模态交互，增强注意力建模并减少语言偏置。
• 在VQA 1.9验证数据集的平衡子集上训练模型，比较不同问题类型（是/否、数字、其他）和消融设置下的性能。

Figure 1 : High Level Architecture of GAN Based System

实验结果

研究问题

• RQ1 基于GAN的模型能否在VQA中有效生成基于图像和问题输入的准确答案嵌入？
• RQ2 预训练生成器与预训练判别器对GAN训练稳定性与VQA性能有何影响？
• RQ3 基于自编码器的联合图像-问题嵌入学习方法是否在复杂VQA任务上优于基于GAN的方法？
• RQ4 MCB增强的注意力机制在在多大程度上减少了语言偏置，并提升了对开放式和复杂问题的推理能力？
• RQ5 在VQA系统中，不同问题类型下模型复杂度与性能之间的权衡如何？

主要发现

• 在保持判别器未训练的情况下预训练生成器，获得了最佳的GAN性能，'All'问题上的准确率达到21.25%，显著优于非预训练基线模型。
• 自编码器方法在整体性能上略优于GANs，尤其在复杂问题上表现更优，归因于更稳定且有意义的嵌入学习。
• MCB增强的注意力机制在复杂推理任务上优于GAN和自编码器基线模型，定性示例中正确回答了'What year is the car?'和'What color is the fridge?'。
• 在是/否问题上，当生成器被预训练时，基于GAN的模型达到了54.65%的准确率，表明其在二分类任务中表现强劲。
• 基于GAN的模型在开放式和复杂问题上表现不佳，例如将'What color is the fridge?'错误分类为'dinner'，凸显其在推理泛化方面的局限性。
• 结合MCB的注意力机制展现出更优的定性结果，正确识别出冰箱颜色为'silver'，而GAN模型则返回'gray'，属于近似正确但错误的答案。

Figure 2 : High Level Architecture of AutoEncoder Based System