[论文解读] MTVQA: Benchmarking Multilingual Text-Centric Visual Question Answering

Jingqun Tang, Qi Liu+15 more|arXiv (Cornell University)|May 20, 2024

Multimodal Machine Learning Applications被引用 4

一句话总结

MTVQA 引入了首个多语言、以文本为中心的视觉问答基准，涵盖九种不同语言的高质量人工专家标注，解决了基于翻译的数据扩展方法中存在的视觉-文本错位问题。评估结果揭示了当前 SOTA 多模态大语言模型在性能上的显著差距，凸显了在多语言、文本丰富的视觉理解任务中仍有巨大的改进空间。

ABSTRACT

Text-Centric Visual Question Answering (TEC-VQA) in its proper format not only facilitates human-machine interaction in text-centric visual environments but also serves as a de facto gold proxy to evaluate AI models in the domain of text-centric scene understanding. Nonetheless, most existing TEC-VQA benchmarks have focused on high-resource languages like English and Chinese. Despite pioneering works to expand multilingual QA pairs in non-text-centric VQA datasets through translation engines, the translation-based protocol encounters a substantial "visual-textual misalignment" problem when applied to TEC-VQA. Specifically, it prioritizes the text in question-answer pairs while disregarding the visual text present in images. Moreover, it fails to address complexities related to nuanced meaning, contextual distortion, language bias, and question-type diversity. In this work, we tackle multilingual TEC-VQA by introducing MTVQA, the first benchmark featuring high-quality human expert annotations across 9 diverse languages, consisting of 6,778 question-answer pairs across 2,116 images. Further, by comprehensively evaluating numerous state-of-the-art Multimodal Large Language Models~(MLLMs), including Qwen2-VL, GPT-4o, GPT-4V, Claude3, and Gemini, on the MTVQA benchmark, it is evident that there is still a large room for performance improvement (Qwen2-VL scoring 30.9 versus 79.7 for human performance), underscoring the value of MTVQA. Additionally, we supply multilingual training data within the MTVQA dataset, demonstrating that straightforward fine-tuning with this data can substantially enhance multilingual TEC-VQA performance. We aspire that MTVQA will offer the research community fresh insights and stimulate further exploration in multilingual visual text comprehension. The project homepage is available at https://bytedance.github.io/MTVQA/.

研究动机与目标

• 解决缺乏高质量、多语言、以文本为中心的 VQA 基准的问题，特别是针对低资源语言。
• 克服基于翻译的数据扩展方法在 TEC-VQA 中固有的视觉-文本错位问题。
• 提供一个能够捕捉多语言环境下细微语言挑战、语境扭曲和问题类型多样性的基准。
• 实现对多模态大语言模型在多语言、文本丰富的视觉环境中的严格评估。
• 激发未来在多语言、文档导向和指令微调的 MLLM 领域的研究，以应对文本为中心的视觉任务。

提出的方法

• 从多样化来源收集真实世界中的文本丰富图像（如菜单、账单、PPT、研究论文），以确保视觉与文本的相关性。
• 采用两阶段人工标注流程：第一阶段，标注者生成问题和答案；第二阶段，由另一组人员验证答案的准确性和一致性。
• 聚焦九种语言：阿拉伯语、韩语、日语、泰语、越南语、俄语、法语、德语和意大利语，确保语言多样性。
• 通过要求标注者在构思问题时同时考虑图像内容和文本元素，确保视觉-文本的一致性。
• 设计数据集时采用细粒度场景，覆盖跨语言的内容提取、推理和语境理解任务。
• 为每个问题提供一个标准答案，未来版本计划扩展为多个合理答案。

实验结果

研究问题

• RQ1 一个具有人工专家标注的多语言 TEC-VQA 基准是否能够克服基于翻译的数据扩展中出现的视觉-文本错位问题？
• RQ2 当前 SOTA 的 MLLM 在多语言、文本丰富的视觉问答任务上的表现，与单语基准相比如何？
• RQ3 指令微调在多语言 TEC-VQA 任务中对 MLLM 性能的提升程度如何？
• RQ4 不同语言之间的性能差异有多大，特别是高资源语言与低资源语言群体之间？
• RQ5 文档导向的 MLLM 与通用型 MLLM 在多语言文本为中心的 VQA 任务中表现如何比较？

主要发现

• Claude3 Opus 在全部九种语言中平均准确率达到 25.7%，表明即使对于最先进的模型，多语言 TEC-VQA 仍是重大挑战。
• 封闭源模型整体表现优于开放源模型，其中 GPT-4V 和 Gemini Ultra 表现最佳，GPT-4V 平均准确率达到 22.0%。
• 不同语言间的性能差异显著，使用拉丁字母的印欧语系语言（如法语、德语、意大利语）的准确率高于非拉丁字母语言（如阿拉伯语、泰语、越南语）。
• 指令微调使平均准确率提升 8.5 个百分点，其中法语提升最大（14.2%），俄语提升最小（1.7%）。
• 文档导向模型如 TextSquare 和 TextMonkey 在 MTVQA 基准上并未显著优于通用型开放源模型。
• GLM4V 表现尤其不佳（平均准确率 13.6%），在阿拉伯语和韩语中接近零分，凸显了其在低资源语言理解方面的模型特异性局限。