[论文解读] Question-Guided Hybrid Convolution for Visual Question Answering

Peng Gao, Pan Lu+5 more|arXiv (Cornell University)|Aug 8, 2018

Multimodal Machine Learning Applications参考文献 33被引用 22

一句话总结

本文提出了一种新型的多模态特征融合方法——问题引导混合卷积（Question-Guided Hybrid Convolution, QGHC），用于视觉问答任务。该方法在神经网络早期阶段对视觉特征应用基于问题条件的卷积核，以保留空间信息并捕捉细粒度的视觉-文本关系。通过结合问题相关与问题无关的分组卷积核，QGHC在参数量更少的情况下实现了优异性能，在CLEVR数据集上超越了当前最先进方法，同时与现有的注意力机制和池化方法兼容。

ABSTRACT

In this paper, we propose a novel Question-Guided Hybrid Convolution (QGHC) network for Visual Question Answering (VQA). Most state-of-the-art VQA methods fuse the high-level textual and visual features from the neural network and abandon the visual spatial information when learning multi-modal features.To address these problems, question-guided kernels generated from the input question are designed to convolute with visual features for capturing the textual and visual relationship in the early stage. The question-guided convolution can tightly couple the textual and visual information but also introduce more parameters when learning kernels. We apply the group convolution, which consists of question-independent kernels and question-dependent kernels, to reduce the parameter size and alleviate over-fitting. The hybrid convolution can generate discriminative multi-modal features with fewer parameters. The proposed approach is also complementary to existing bilinear pooling fusion and attention based VQA methods. By integrating with them, our method could further boost the performance. Extensive experiments on public VQA datasets validate the effectiveness of QGHC.

研究动机与目标

• 解决现有VQA模型在模态特征晚期融合过程中损失空间视觉信息的局限性。
• 通过问题引导的卷积核实现在视觉与文本特征之间的早期、紧密耦合，自适应聚焦于相关图像区域。
• 通过引入问题相关与问题无关的分组卷积核，减少动态核预测中的参数爆炸问题。
• 在保持与现有最先进融合技术兼容的同时，提升多模态表示学习在视觉问答任务中的性能。

提出的方法

• 利用RNN从问题嵌入中预测动态的问题引导卷积核，实现对视觉特征的自适应空间滤波。
• 所提出的QGHC通过分组卷积将大卷积核分解为更小的共享子核，降低参数数量并缓解过拟合。
• 问题相关核基于输入问题动态预测，而问题无关核通过反向传播端到端训练。
• 通过在全局池化前直接对中间层CNN特征应用卷积操作，保留视觉特征的空间结构。
• 将QGHC模块堆叠并集成到现有架构中（如使用双线性池化或注意力机制的模型），以提升性能。
• 通过最终分类头对QGHC生成的特征图进行答案预测，可视化结果表明模型聚焦于与问题相关的图像区域。

实验结果

研究问题

• RQ1 通过问题引导的卷积实现视觉与文本特征的早期融合，是否能在保留空间信息的同时提升VQA性能？
• RQ2 如何实现内存高效且对过拟合具有鲁棒性的视觉卷积动态核预测？
• RQ3 问题相关与问题无关核的混合设计在多模态学习中在多大程度上提升了特征表示能力？
• RQ4 所提出的QGHC方法是否能在包括形状、颜色和计数等多样化问题类型上实现良好泛化？
• RQ5 在准确率、参数效率和鲁棒性方面，QGHC与当前最先进VQA模型相比表现如何？

主要发现

• 在CLEVR数据集上，QGHC模型的整体准确率比堆叠注意力（SA）基线高出17.40%，在'大小'属性上的准确率达到93.65%。
• QGHC整体准确率比N2NMN模型高出2.20%，尽管未依赖复杂解析，仍展现出更优的泛化能力与鲁棒性。
• 该方法在CLEVR数据集上达到86.30%的整体准确率，显著优于CNN-LSTM（52.30%）和MCB（51.40%）基线。
• QGHC激活图的可视化结果表明，模型能逐步聚焦于与问题相关的图像区域，如特定形状、颜色和计数。
• 消融实验表明，问题相关与问题无关核均不可或缺，混合设计在减少参数的同时提升了性能。
• QGHC框架与现有方法具有互补性：当与MCB或注意力机制结合时，性能进一步提升。