[论文解读] How Culturally Aware are Vision-Language Models?

Olena Burda-Lassen, Aman Chadha+2 more|arXiv (Cornell University)|May 24, 2024

Language, Metaphor, and Cognition被引用 4

一句话总结

本文提出了文化意识得分（CAS），这是一种新颖的度量标准，用于评估视觉-语言模型在生成神话、民间舞蹈和文化符号等文化特定图像的准确、上下文丰富的字幕方面的能力。基于包含人工标注真实标签和CAS标签的MOSAIC-1.5k数据集，本研究评估了GPT-4V、Gemini Pro Vision、LLaVA和OpenFlamingo模型，结果显示整体CAS得分较低，尤其在象征性和图像学图像上表现更差，凸显了当前模型在文化敏感性方面仍有巨大提升空间。

ABSTRACT

An image is often considered worth a thousand words, and certain images can tell rich and insightful stories. Can these stories be told via image captioning? Images from folklore genres, such as mythology, folk dance, cultural signs, and symbols, are vital to every culture. Our research compares the performance of four popular vision-language models (GPT-4V, Gemini Pro Vision, LLaVA, and OpenFlamingo) in identifying culturally specific information in such images and creating accurate and culturally sensitive image captions. We also propose a new evaluation metric, the Cultural Awareness Score (CAS), which measures the degree of cultural awareness in image captions. We provide a dataset MOSAIC-1.5k labeled with ground truth for images containing cultural background and context and a labeled dataset with assigned Cultural Awareness Scores that can be used with unseen data. Creating culturally appropriate image captions is valuable for scientific research and can be beneficial for many practical applications. We envision our work will promote a deeper integration of cultural sensitivity in AI applications worldwide. By making the dataset and Cultural Awareness Score available to the public, we aim to facilitate further research in this area, encouraging the development of more culturally aware AI systems that respect and celebrate global diversity.

研究动机与目标

• 评估视觉-语言模型在准确且敏感地为富含文化内容的图像（如神话、民间舞蹈和文化符号）生成字幕方面的能力。
• 解决当前AI生成图像字幕在文化意识方面缺乏标准化评估的问题，特别是针对细微且依赖上下文的视觉元素。
• 开发并验证一种新的评估度量标准——文化意识得分（CAS），以定量评估模型生成字幕中所体现的文化理解深度。
• 创建并发布MOSAIC-1.5k数据集，该数据集包含1,500张富含文化内涵的图像，附带真实字幕和CAS评分，用于后续评估。
• 通过提供所提出的度量标准和数据集，推动更具备文化意识的AI系统的发展，支持模型的微调与基准测试。

提出的方法

• 提出了文化意识得分（CAS），一种二元评估度量标准，根据字幕是否包含关键的文化背景、上下文和正确的概念识别来分配分数。
• 整理了MOSAIC-1.5k数据集，包含1,500张来自不同文化类别的图像——神话、民间舞蹈、文化标志和符号——每张图像均附有真实字幕和CAS评分。
• 通过专家人工标注收集并标注了该数据集，以确保文化准确性并减少偏差，每个文化概念均包含多个示例以提升鲁棒性。
• 评估了四种主流视觉-语言模型（GPT-4V、Gemini Pro Vision、LLaVA和OpenFlamingo）在为MOSAIC-1.5k数据集生成字幕方面的能力。
• 应用CAS度量标准评估模型在不同图像类别中的表现，识别出诸如文化符号误标或语义信息丢失等失败模式。
• 利用标注数据集训练分类器以预测未见数据的CAS值，从而实现对未来模型文化意识的可扩展评估。

实验结果

研究问题

• RQ1 视觉-语言模型在多大程度上能够准确为包含文化特异性内容（如神话、民间舞蹈和文化符号）的图像生成字幕？
• RQ2 与人工标注的真实标签相比，文化意识得分（CAS）如何量化模型生成字幕中的文化理解深度？
• RQ3 哪些图像类别（如图标、标志、矢量图）在文化意识字幕生成中表现最差且错误率最高？
• RQ4 当前视觉-语言模型在为文化内涵丰富的图像生成字幕时，主要的失败模式是什么？
• RQ5 MOSAIC-1.5k数据集和CAS度量标准是否能有效用于新模型的微调与评估，以提升其文化敏感性？

主要发现

• 所有四种视觉-语言模型的整体文化意识得分（CAS）均较低，表明其在图像字幕中捕捉关键文化语境的能力有限。
• GPT-4V的失败率最高，约55%的字幕被判定为失败，尤其在标注标志和符号类图像时表现更差。
• 表示文化符号的矢量图和图标类图像的CAS得分最低，错误率最高，表明模型在理解抽象或风格化文化表达方面存在显著困难。
• 在特定图像类别中，字幕错误率在17%至24%之间，常见问题包括对文化概念的误识别以及历史或语境意义的丢失。
• 研究发现，模型常将相似或相关文化概念混淆，表明其在语义理解上缺乏精确性。
• 附带真实标签和CAS评分的MOSAIC-1.5k数据集可支持下游评估与微调，为训练更具文化意识的AI系统奠定了基础。