[论文解读] Learning Answer Embeddings for Visual Question Answering

Hexiang Hu, Wei‐Lun Chao+1 more|arXiv (Cornell University)|Jun 10, 2018

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出了一种概率视觉问答模型，通过学习图像-问题对与答案嵌入的联合嵌入表示，以捕捉答案之间的语义关系。通过利用学习到的嵌入表示建模答案相似性，该方法在答案重叠较少的数据集之间实现了更好的零样本泛化与迁移学习性能，在域内和跨数据集设置下均优于标准分类基线模型。

ABSTRACT

We propose a novel probabilistic model for visual question answering (Visual QA). The key idea is to infer two sets of embeddings: one for the image and the question jointly and the other for the answers. The learning objective is to learn the best parameterization of those embeddings such that the correct answer has higher likelihood among all possible answers. In contrast to several existing approaches of treating Visual QA as multi-way classification, the proposed approach takes the semantic relationships (as characterized by the embeddings) among answers into consideration, instead of viewing them as independent ordinal numbers. Thus, the learned embedded function can be used to embed unseen answers (in the training dataset). These properties make the approach particularly appealing for transfer learning for open-ended Visual QA, where the source dataset on which the model is learned has limited overlapping with the target dataset in the space of answers. We have also developed large-scale optimization techniques for applying the model to datasets with a large number of answers, where the challenge is to properly normalize the proposed probabilistic models. We validate our approach on several Visual QA datasets and investigate its utility for transferring models across datasets. The empirical results have shown that the approach performs well not only on in-domain learning but also on transfer learning.

研究动机与目标

• 为解决多分类在视觉问答中的局限性，即把答案视为独立类别而忽略其语义关系。
• 实现在答案词汇重叠较少的数据集之间有效迁移学习，特别是在开放型VQA设置下。
• 开发一种可在推理阶段嵌入未见答案的模型，从而超越训练词汇表的泛化能力。
• 设计一种高效的优化方案以应对大规模答案空间，实现包含数百万个候选答案的可扩展训练。
• 证明图像-问题对与答案嵌入之间的语义对齐可提升模型的鲁棒性与性能。

提出的方法

• 该模型学习两种嵌入函数：一种用于联合图像-问题对，另一种用于单个答案，将其映射到共享嵌入空间。
• 该模型基于图像-问题嵌入与答案嵌入之间的内积，采用概率评分函数预测最可能的答案。
• 关键创新在于在小批量中采用自适应负采样，以高效优化包含数千个候选答案的大规模概率模型。
• 该模型对每个样本仅计算一次联合图像-问题嵌入，从而在无需重新计算的情况下，高效支持大量候选答案的推理。
• 该方法采用基于边距的对比损失，以最大化正确答案相对于负样本的似然性，通过自适应采样处理归一化。
• 该框架具有模块化设计，可兼容任意联合图像-文本编码器，如CNN-RNN或基于Transformer的架构。

实验结果

研究问题

• RQ1 学习答案嵌入是否能通过捕捉答案之间的语义关系，提升域内视觉问答的性能？
• RQ2 该模型是否能泛化到训练集中未出现的未见答案，实现零样本推理？
• RQ3 使用答案嵌入是否能提升在答案词汇重叠有限的数据集之间的迁移学习性能？
• RQ4 该模型在大规模候选答案集合下的效率如何扩展？是否能在推理速度上超越标准分类基线？
• RQ5 答案嵌入在多大程度上能捕捉句法与语义相似性？这通过t-SNE可视化和下游性能得到验证。

主要发现

• 所提出的fPMC方法在迁移学习中优于标准分类基线（CLS），在从Visual7W迁移到qaVG时性能提升12.0%（从42.8%提升至54.8%）。
• 在VQA2数据集上，fPMC在top-3000开放型准确率达到43.4%，显著优于CLS（31.7%）和uPMC（29.5%）的迁移设置表现。
• 当从VQA2中移除Yes/No答案后，fPMC相较于CLS的性能提升更大（最高达13.7个百分点），表明嵌入在语义丰富的答案上具有显著优势。
• fPMC的推理速度与标准分类方法相当（每小批量22.14ms），而uPMC则慢逾10倍（367.62ms），体现出计算效率。
• t-SNE可视化证实，学习到的答案嵌入保留了语义与句法相似性，例如“running”与“jogging”在嵌入空间中彼此接近。
• 在VQA2与Visual7W等主流数据集之间，仅有50–65%的top-1000答案重叠，凸显了迁移学习的挑战以及基于嵌入泛化方法的价值。