[论文解读] Effect of Vision-and-Language Extensions on Natural Language Understanding in Vision-and-Language Models.

Taichi Iki, Akiko Aizawa|arXiv (Cornell University)|Apr 16, 2021

Multimodal Machine Learning Applications参考文献 21被引用 6

一句话总结

本文研究了视觉-语言（V&L）扩展如何影响多模态模型的自然语言理解能力。基于GLUE基准测试，发现视觉扩展会降低语言性能，且V&L预训练对性能的负面影响大于结构修改，凸显了需要开发能够保持语言能力的预训练策略。

ABSTRACT

Extending language models with structural modifications and vision-and-language (V&L) pretraining are successful ways of making V&L models that can ground vision and language. Potential applications of these advanced models include multi-modal machine reading comprehension models and multi-modal dialogue models, which require language ability upon grounding. Although language capability is crucial for such applications, the impact of extending their visual capabilities on their language capabilities is not fully understood. This paper investigates how visual extension affects the language capability of V&L models using the GLUE benchmark. We found that visual extension causes some decreases in language capability and that V&L pretraining has a greater impact than structural modifications on the decreases. Our results suggest the need for further study on pretraining that can maintain or, if possible, improve a model's language capability.

研究动机与目标

• 理解视觉扩展对视觉-语言模型语言能力的影响。
• 评估结构修改与V&L预训练对语言性能退化的影响程度。
• 使用GLUE基准作为标准度量，评估V&L模型的语言理解能力。
• 识别多模态模型中视觉定位与语言能力之间的设计权衡。

提出的方法

• 该研究对视觉-语言模型应用了多种视觉扩展，包括视觉编码器和多模态注意力机制。
• 通过引入模态特定的标记嵌入和交叉注意力层等结构修改，整合视觉与语言输入。
• 使用视觉-语言对比目标对模型进行预训练，以对齐视觉与文本表征。
• 通过GLUE基准评估语言理解能力，测量在多个自然语言理解任务上的表现。
• 通过比较添加视觉组件前后GLUE得分的变化，量化视觉扩展的影响。
• 通过统计分析分离V&L预训练与结构变化对性能退化贡献的独立影响。

实验结果

研究问题

• RQ1 增加视觉能力如何影响视觉-语言模型的语言理解性能？
• RQ2 V&L预训练还是结构修改对语言能力的负面影响更大？
• RQ3 视觉扩展在标准自然语言理解基准（如GLUE）上会造成多大程度的性能下降？
• RQ4 能否通过替代性预训练策略来保持或提升V&L模型的语言能力？

主要发现

• 视觉扩展导致在GLUE基准上语言理解性能出现可测量的下降。
• V&L预训练对性能退化的贡献显著高于结构修改。
• 具备视觉扩展的模型在多个GLUE任务上表现下降，包括文本蕴含和情感分析。
• V&L预训练的负面影响表明视觉定位与语言能力之间存在权衡。
• 仅结构修改导致的性能下降较小，表明其对语言能力的干扰较小。
• 研究结果呼吁未来开发能够保持或增强多模态模型语言理解能力的预训练方法。