[论文解读] DualVD: An Adaptive Dual Encoding Model for Deep Visual Understanding in Visual Dialogue

Xiaoze Jiang, Jing Yu+5 more|arXiv (Cornell University)|Nov 17, 2019

Multimodal Machine Learning Applications参考文献 29被引用 8

一句话总结

DualVD 提出了一种用于视觉对话的新型自适应双编码模型，通过视觉（外观级）和语义（高层抽象）双重视角捕捉图像表征，结合可学习门控机制的分层模内与模间特征选择。该模型在基准数据集上实现了最先进性能，同时通过注意力权重和门控权重实现模态贡献的可解释性可视化。

ABSTRACT

Different from Visual Question Answering task that requires to answer only one question about an image, Visual Dialogue involves multiple questions which cover a broad range of visual content that could be related to any objects, relationships or semantics. The key challenge in Visual Dialogue task is thus to learn a more comprehensive and semantic-rich image representation which may have adaptive attentions on the image for variant questions. In this research, we propose a novel model to depict an image from both visual and semantic perspectives. Specifically, the visual view helps capture the appearance-level information, including objects and their relationships, while the semantic view enables the agent to understand high-level visual semantics from the whole image to the local regions. Futhermore, on top of such multi-view image features, we propose a feature selection framework which is able to adaptively capture question-relevant information hierarchically in fine-grained level. The proposed method achieved state-of-the-art results on benchmark Visual Dialogue datasets. More importantly, we can tell which modality (visual or semantic) has more contribution in answering the current question by visualizing the gate values. It gives us insights in understanding of human cognition in Visual Dialogue.

研究动机与目标

• 为解决视觉对话中学习全面、与问题自适应的图像表征的挑战，其中问题涵盖对象、关系和高层语义。
• 通过双重视角建模视觉理解——从对象和关系中提取外观级特征，从全局和局部图像字幕中提取语义级特征。
• 通过模内与模间特征选择实现分层、自适应地选择与问题相关的视觉与语义线索。
• 通过门控值可视化不同模态（视觉或语义）对回答每个问题的贡献程度，提升可解释性。
• 通过互补的多模态表征学习，在标准视觉对话基准上超越现有最先进模型。

提出的方法

• DualVD 采用双编码架构：视觉模块利用基于 R-CNN 的特征捕捉对象与关系特征，语义模块则编码全局与局部图像字幕以获取高层语义。
• 在视觉与语义特征上分别应用模内选择，利用注意力机制识别与问题相关的区域或概念。
• 通过可学习门控机制实现模间选择，基于当前问题上下文自适应地融合视觉与语义特征。
• 模型集成 ELMo 嵌入用于问题编码，以增强语言上下文表征。
• 采用分层特征选择框架，在答案预测前逐步精炼来自两种模态的相关信息。
• 门控机制支持显式可视化模态贡献，提升模型决策的可解释性。

实验结果

研究问题

• RQ1 视觉对话系统如何更好地在多轮对话中捕捉从对象、关系到高层语义的多样化视觉内容？
• RQ2 与单一视觉特征提取相比，视觉与语义表征的双编码在视觉对话中能在多大程度上提升性能？
• RQ3 分层自适应特征选择机制能否提升所选视觉线索对问答任务的相关性？
• RQ4 在推理过程中，如何定量测量并可视化模态特异性贡献（视觉 vs. 语义）？
• RQ5 双重视角的融合是否能提升在标准视觉对话基准数据集上的泛化能力与鲁棒性？

主要发现

• DualVD 在标准视觉对话基准上实现了最先进性能，超越了包括 VisMod、RelRep 和 SemMod 在内的现有模型。
• 当结合视觉与语义模块时，模型表现出显著的性能提升，表明存在互补的信息增益。
• 平均而言，视觉模块贡献更大，如在涉及对象与外观的问题中门控值更高。
• 对于涉及关系或抽象概念的语义级问题，语义模块贡献更大，尤其在存在明确文本线索时。
• 消融实验表明，DualVD 的性能提升主要源于新颖的双编码视觉表征，而非 ELMo 嵌入。
• 门控值与注意力图的可视化显示，DualVD 在对话轮次间动态切换模态关注焦点，模拟人类认知行为。