[论文解读] All-in-One Image-Grounded Conversational Agents

Da Young Ju, Kurt Shuster+2 more|arXiv (Cornell University)|Dec 28, 2019

Multimodal Machine Learning Applications参考文献 41被引用 7

一句话总结

本文提出了一种统一的多模态架构，将最先进的视觉与语言Transformer模型结合，并引入一种新颖的注意力多模态融合模块，以在多个图像对齐的对话任务上训练单一智能体。该模型在无需大规模跨模态预训练的情况下，在多种任务上实现了最先进或具有竞争力的性能，包括图像字幕生成、视觉问答和基于图像的对话，充分展示了多任务学习在极少额外资源下的有效性。

ABSTRACT

As single-task accuracy on individual language and image tasks has improved substantially in the last few years, the long-term goal of a generally skilled agent that can both see and talk becomes more feasible to explore. In this work, we focus on leveraging individual language and image tasks, along with resources that incorporate both vision and language towards that objective. We design an architecture that combines state-of-the-art Transformer and ResNeXt modules fed into a novel attentive multimodal module to produce a combined model trained on many tasks. We provide a thorough analysis of the components of the model, and transfer performance when training on one, some, or all of the tasks. Our final models provide a single system that obtains good results on all vision and language tasks considered, and improves the state-of-the-art in image-grounded conversational applications.

研究动机与目标

• 开发一个能够处理多样化图像与文本任务的单一通用对话智能体。
• 探究使用共享视觉与语言编码器进行多任务训练，是否能够提升在多个图像对齐语言任务上的性能。
• 分析不同训练目标、架构设计与优化策略对多任务性能的影响。
• 证明有效的多模态推理可以在不依赖大规模跨模态预训练的情况下实现。
• 对多模态智能体的组件设计与训练动态进行全面的消融研究。

提出的方法

• 模型分别使用预训练的ResNeXt和BERT编码器处理视觉与语言输入。
• 提出一种新颖的注意力多模态融合模块，根据输入上下文动态关注视觉与文本特征。
• 该架构在多个任务上端到端训练——包括字幕生成、VQA、图像聊天和基于个性的字幕生成，使用共享的编码器主干网络。
• 采用多任务训练策略，对每个任务实施早停，并在各任务上进行微调以提升性能。
• 该方法避免了大规模跨模态预训练，仅依赖来自现有数据集的约100万张图像-句子对进行多任务学习。
• 检索类任务（如COCO、Flickr30k）使用排名头，而VQA任务则使用分类头。

实验结果

研究问题

• RQ1 单一统一架构是否能在多样化的图像对齐对话任务上实现优异性能？
• RQ2 使用共享视觉与语言编码器的多任务训练，相较于单任务或基于预训练的方法，表现如何？
• RQ3 哪些组件与训练策略在平衡多个多模态任务性能方面最为有效？
• RQ4 多任务学习是否可作为大规模跨模态预训练的可行替代方案？
• RQ5 所提出的注意力多模态融合模块相较于标准注意力机制，在多模态融合中表现有何提升？

主要发现

• 该模型在图像对齐对话任务上实现了最先进性能，包括Personality Captions、Image Chat和Image Chat QA任务。
• 多任务训练后进行微调效果最佳：在COCO字幕任务上达到59.6%，优于多任务早停（54.0%）和单任务训练（57.2%）。
• 在Flickr30k数据集上，模型通过早停达到83.0%，优于多任务基线（81.7%）和单任务基线（79.7%），表明在小规模数据集上多任务训练具有显著优势。
• 在VQA和标准字幕生成任务（COCO、Flickr30k）上，模型表现具有竞争力，尽管未使用Visual Genome或Conceptual Captions等大规模预训练数据集，其结果仍与最先进方法相当。
• 消融研究证实，所提出的注意力多模态融合模块优于标准注意力机制，且在任务混合均衡的设置下训练可带来更好的泛化能力。
• 该模型仅使用约100万张图像-句子对和约40个V100 GPU小时，即实现优异性能，证明多任务学习可作为大规模预训练的计算高效替代方案。