[论文解读] A Survey on Image-text Multimodal Models

Ruifeng Guo, Jingxuan Wei+8 more|arXiv (Cornell University)|Sep 23, 2023

Sentiment Analysis and Opinion Mining被引用 8

一句话总结

本综述回顾图像-文本多模态模型的发展、任务、技术、应用、挑战及未来方向，提出三阶段分类法和五大核心任务类别。

ABSTRACT

With the significant advancements of Large Language Models (LLMs) in the field of Natural Language Processing (NLP), the development of image-text multimodal models has garnered widespread attention. Current surveys on image-text multimodal models mainly focus on representative models or application domains, but lack a review on how general technical models influence the development of domain-specific models, which is crucial for domain researchers. Based on this, this paper first reviews the technological evolution of image-text multimodal models, from early explorations of feature space to visual language encoding structures, and then to the latest large model architectures. Next, from the perspective of technological evolution, we explain how the development of general image-text multimodal technologies promotes the progress of multimodal technologies in the biomedical field, as well as the importance and complexity of specific datasets in the biomedical domain. Then, centered on the tasks of image-text multimodal models, we analyze their common components and challenges. After that, we summarize the architecture, components, and data of general image-text multimodal models, and introduce the applications and improvements of image-text multimodal models in the biomedical field. Finally, we categorize the challenges faced in the development and application of general models into external factors and intrinsic factors, further refining them into 2 external factors and 5 intrinsic factors, and propose targeted solutions, providing guidance for future research directions. For more details and data, please visit our GitHub page: \url{https://github.com/i2vec/A-survey-on-image-text-multimodal-models}.

研究动机与目标

• 澄清图像-文本多模态模型的基本概念与历史里程碑。
• 提出其演化的三阶段分类。
• 将图像-文本多模态任务分为五大类型并给出具有代表性的技术。
• 识别当前挑战并概述潜在研究方向。
• 提供指导未来学术工作的参考资源。

提出的方法

• 基于引入时间和影响力提出图像-文本多模态模型演化的新的三阶段分类。
• 将任务组织为五大类型，并总结各类别中的进展与关键技术。
• 提供在图像-文本多模态模型中的案例研究与实际效果示例。
• 讨论在受限环境下与数据、计算、对齐及适用性相关的挑战与局限。
• 概述未来研究方向及对已识别问题的潜在解决方案。
• 通过GitHub仓库提供社区资源与协作邀请。

实验结果

研究问题

• RQ1 图像-文本多模态模型的发展阶段是什么，它们如何影响当前能力？
• RQ2 在图像-文本多模态建模中有哪些五大任务类别？每一类有哪些推动进展的技术？
• RQ3 阻碍图像-文本多模态模型广泛应用与发展的主要挑战与局限是什么？
• RQ4 为解决数据、计算、对齐与可解释性担忧，未来将出现哪些方向与研究机会？

主要发现

• 图像-文本多模态模型已经经历三个阶段，且对领域产生日益增加的影响。
• 五大核心任务类型——图像描述生成、图像-文本匹配、视觉问答、视觉定位、文本到图像生成——构成当前研究与应用的结构。
• 当前的多模态模型日益依赖大规模预训练与跨模态学习，以统一视觉与语言表征。
• 主要挑战包括高计算/资源需求、数据可用性与质量，以及复杂的多模态对齐与融合。
• 新兴方向强调跨模态大规模语言模型、高效预训练策略，以及降低幻觉、提升可解释性与公平性的方法。