[论文解读] MCQA: Multimodal Co-attention Based Network for Question Answering

Abhishek Kumar, Trisha Mittal+1 more|arXiv (Cornell University)|Apr 25, 2020

Multimodal Machine Learning Applications参考文献 28被引用 11

一句话总结

MCQA 提出了一种用于基于视频的问题回答的多模态协同注意力网络，通过协同注意力机制融合并对齐文本、音频和视频输入。在具有挑战性的 Social-IQ 基准测试中，其准确率相比先前的最先进方法提升了 4–7%，证明了其在多模态上下文-查询对齐与融合方面的优越性能。

ABSTRACT

We present MCQA, a learning-based algorithm for multimodal question answering. MCQA explicitly fuses and aligns the multimodal input (i.e. text, audio, and video), which forms the context for the query (question and answer). Our approach fuses and aligns the question and the answer within this context. Moreover, we use the notion of co-attention to perform cross-modal alignment and multimodal context-query alignment. Our context-query alignment module matches the relevant parts of the multimodal context and the query with each other and aligns them to improve the overall performance. We evaluate the performance of MCQA on Social-IQ, a benchmark dataset for multimodal question answering. We compare the performance of our algorithm with prior methods and observe an accuracy improvement of 4-7%.

研究动机与目标

• 解决在非结构化、真实世界视频中进行多模态问题回答的挑战，要求具备因果推理能力。
• 提升在 Social-IQ 基准测试中的表现，此前的方法与人类表现存在显著差距（64.82% vs. 95.08%）。
• 开发一种能够有效融合并对齐三种模态——文本、音频和视频——以形成连贯上下文用于问题回答的模型。
• 通过协同注意力机制实现跨模态与上下文-查询对齐，提升答案预测性能。
• 研究情感和情绪化语言对模型性能的影响，并识别在情感理解方面的局限性。

提出的方法

• 使用 BERT 嵌入表示文本，COVAREP 特征表示音频，DenseNet161 特征表示视频，并通过 CMU-SDK 实现模态对齐。
• 应用双向 LSTMs（BiLSTMs）对输入模态和查询进行编码，以实现序列建模。
• 通过协同注意力实现多模态融合与对齐模块，将文本、音频和视频特征对齐并融合为统一的上下文表征。
• 引入多模态上下文-查询对齐模块，利用协同注意力将融合后的上下文与问题及答案查询进行软对齐。
• 采用基于学习注意力权重的潜在表征生成机制，并通过端到端训练实现最终答案预测。
• 不仅将协同注意力用于模态融合，还用于查询-上下文匹配，使模型能够聚焦于上下文中的相关部分。

实验结果

研究问题

• RQ1 协同注意力机制是否能有效对齐并融合三种不同模态——文本、音频和视频——以实现非脚本化、真实世界视频中的问题回答？
• RQ2 与标准融合方法相比，多模态上下文-查询对齐在多大程度上提升了答案预测的准确率？
• RQ3 在 Social-IQ 数据集中，音频和视频模态的引入在多大程度上提升了复杂因果推理问题的性能？
• RQ4 为何现有模型在处理情感化或情绪复杂的提问时表现不佳？协同注意力模型能否缓解这一问题？
• RQ5 通过消融研究，各组件（多模态融合、上下文-查询对齐）对整体模型性能的贡献如何？

主要发现

• MCQA 在 Social-IQ 数据集上相比先前最先进方法实现了 4–7% 的准确率提升，尤其在 A2（2选1）和 A4（4选1）答案选择任务中表现突出。
• 消融研究显示，若移除多模态融合与对齐组件，准确率将下降至 66.9%，凸显其在性能中的关键作用。
• 若移除上下文-查询对齐模块，准确率下降至 67.4%，证实其在聚焦模型关注相关上下文部分方面的重要性。
• MCQA 与基线模型在包含情感或情绪导向语言的问题上表现均欠佳，表明两者在情感理解方面存在共性局限。
• 模型在 MovieQA 和 TVQA 数据集上表现出色，优于 LMN、FVTA、MSM、TFN 和 MFN 等方法。
• 定性结果表明，MCQA 即使在干扰项在情感或语境上相似的情况下，也能在复杂社交场景中正确识别正确答案。