[论文解读] Answer Them All! Toward Universal Visual Question Answering Models

Robik Shrestha, Kushal Kafle+1 more|arXiv (Cornell University)|Mar 1, 2019

Multimodal Machine Learning Applications参考文献 56被引用 6

一句话总结

该论文提出RAMEN，一种统一的视觉问答模型，在自然图像（如VQAv2、TDIUC）和合成推理（如CLEVR、CoGenT）数据集上均实现了最先进或具有竞争力的性能。通过早期融合视觉与文本特征，并使用双向GRU进行跨模态聚合，RAMEN在不同领域间表现出有效的泛化能力，在两个基准测试中均优于专用模型，表明更简单的架构可与复杂且依赖偏差的模型相媲美。

ABSTRACT

Visual Question Answering (VQA) research is split into two camps: the first focuses on VQA datasets that require natural image understanding and the second focuses on synthetic datasets that test reasoning. A good VQA algorithm should be capable of both, but only a few VQA algorithms are tested in this manner. We compare five state-of-the-art VQA algorithms across eight VQA datasets covering both domains. To make the comparison fair, all of the models are standardized as much as possible, e.g., they use the same visual features, answer vocabularies, etc. We find that methods do not generalize across the two domains. To address this problem, we propose a new VQA algorithm that rivals or exceeds the state-of-the-art for both domains.

研究动机与目标

• 探究最先进视觉问答模型在自然图像与合成推理数据集之间是否具备泛化能力。
• 识别现有视觉问答模型在跨领域泛化能力差的根本原因。
• 提出一种统一的视觉问答模型，在自然图像与合成推理基准上均表现优异。
• 通过使用相同的视觉特征与答案词汇表，实现模型间的标准化评估，确保公平比较。

提出的方法

• RAMEN采用早期融合策略，将区域提议生成的视觉特征与文本嵌入在处理前进行拼接。
• 采用双向门控循环单元（bi-GRU）对跨模态表示进行时间序列上的聚合与优化。
• 模型使用平均池化进行初始特征表示，并通过bi-GRU实现非极大值抑制，以减少冗余提议。
• 所有模型均使用相同的视觉特征（Faster R-CNN特征）与答案词汇表，确保比较的公平性。
• 消融研究分离分析了早期融合、晚期融合与聚合机制的贡献。
• 模型在多个数据集上端到端训练，共享组件设计以促进领域无关的推理能力。

实验结果

研究问题

• RQ1 在合成数据集上训练的最先进视觉问答模型是否能泛化到自然图像视觉问答基准，反之亦然？
• RQ2 哪些组件对视觉问答模型的跨领域泛化能力至关重要？
• RQ3 单一统一架构能否在自然图像与合成推理视觉问答数据集上均实现最先进性能？
• RQ4 如早期融合与bi-GRU聚合等模型组件在跨领域性能提升中的作用有多大？

主要发现

• RAMEN在CLEVR上达到95.6%的准确率，在VQAv2上达到76.8%，在两个基准上均达到或超过最先进模型性能。
• 移除早期融合在CLEVR上导致准确率下降20个百分点，在VQAv2上下降4个百分点，证明其关键作用。
• 晚期融合对性能影响微乎其微，表明早期融合在推理任务中更为有效。
• 与平均池化相比，bi-GRU聚合机制提升了性能，可能是因为其能建模模态间交互并抑制重复提议。
• 所有评估模型在分布外基准（如CVQA与VQACPv2）上均表现不佳，表明其严重依赖数据集偏差。
• 现有模型无一在两个领域均表现良好，凸显了对统一、可泛化架构的迫切需求。