[논문 리뷰] How Culturally Aware are Vision-Language Models?

Olena Burda-Lassen, Aman Chadha외 2명|arXiv (Cornell University)|2024. 05. 24.

Language, Metaphor, and Cognition인용 수 4

한 줄 요약

이 논문은 신화, 민속 춤, 문화 상징과 같은 문화적 특성에 뚜렷한 이미지에 대해 정확하고 맥락이 풍부한 캡션을 생성할 수 있는 능력을 평가하기 위한 새로운 지표인 문화 인식 점수(CAS)를 소개한다. 인간이 주석을付けた 참조 데이터와 CAS 레이블이 포함된 MOSAIC-1.5k 데이터셋을 사용하여 GPT-4V, Gemini Pro Vision, LLaVA, OpenFlamingo를 평가한 결과, 특히 상징적이고 도안적인 이미지에서 낮은 전체 CAS 점수를 기록하여 현재 모델의 문화적 민감도 향상 여지가 크다는 점을 드러냈다.

ABSTRACT

An image is often considered worth a thousand words, and certain images can tell rich and insightful stories. Can these stories be told via image captioning? Images from folklore genres, such as mythology, folk dance, cultural signs, and symbols, are vital to every culture. Our research compares the performance of four popular vision-language models (GPT-4V, Gemini Pro Vision, LLaVA, and OpenFlamingo) in identifying culturally specific information in such images and creating accurate and culturally sensitive image captions. We also propose a new evaluation metric, the Cultural Awareness Score (CAS), which measures the degree of cultural awareness in image captions. We provide a dataset MOSAIC-1.5k labeled with ground truth for images containing cultural background and context and a labeled dataset with assigned Cultural Awareness Scores that can be used with unseen data. Creating culturally appropriate image captions is valuable for scientific research and can be beneficial for many practical applications. We envision our work will promote a deeper integration of cultural sensitivity in AI applications worldwide. By making the dataset and Cultural Awareness Score available to the public, we aim to facilitate further research in this area, encouraging the development of more culturally aware AI systems that respect and celebrate global diversity.

연구 동기 및 목표

• 신화, 민속 춤, 문화 상징과 같은 문화적 내용이 풍부한 이미지를 정확하고 민감하게 캡션화할 수 있는 시각-언어 모델의 능력을 평가하는 것.
• 특히 맥락에 따라 달라지는 시각적 요소에 대해 문화 인식 평가의 표준화된 기준이 부족한 문제를 해결하는 것.
• 모델이 생성한 캡션의 문화 이해 깊이를 정량적으로 평가할 수 있도록 개발하고 검증한 새로운 평가 지표인 문화 인식 점수(CAS)를 개발하는 것.
• 지난 후속 평가를 위해 참조 캡션과 CAS 값이 할당된 1,500개의 문화적으로 풍부한 이미지로 구성된 인간 주석 기반의 MOSAIC-1.5k 데이터셋을 구축하고 공개하는 것.
• 제안된 데이터셋과 지표를 활용하여 더 문화적으로 민감한 AI 시스템 개발을 촉진하고, 이를 통해 미세조정 및 벤치마킹을 가능하게 하는 것.

제안 방법

• 캡션에 필수적인 문화적 맥락, 배경 및 정확한 개념 식별 여부에 따라 이진 평가 지표인 문화 인식 점수(CAS)를 제안하였다.
• 신화, 민속 춤, 문화적 신호 및 상징 등 다양한 문화 장르에서 온 1,500개의 이미지를 포함하는 MOSAIC-1.5k 데이터셋을 구성하였다. 각 이미지에는 참조 캡션과 CAS 값이 할당되었다.
• 문화적 정확도를 확보하고 편향을 줄이기 위해 전문가 주석을 활용한 데이터 수집 및 주석 작업을 수행하였으며, 각 문화 개념에 대해 다수의 예시를 포함시켜 강건성을 향상시켰다.
• GPT-4V, Gemini Pro Vision, LLaVA, OpenFlamingo와 같은 네 가지 주요 시각-언어 모델의 MOSAIC-1.5k 데이터셋에 대한 캡션 생성 능력을 평가하였다.
• 다양한 이미지 유형에 대해 CAS 지표를 적용하여 모델 성능을 평가하고, 문화 상징을 잘못 식별하거나 맥락적 의미를 상실하는 등의 실패 패atters를 특정하였다.
• 주석이 달린 데이터셋을 활용해 향후 모델의 문화 인식 능력을 스케일링 가능한 방식으로 예측할 수 있는 분류기 학습을 수행하여, 더 나은 문화 인식 능력을 갖춘 모델의 평가를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 시각-언어 모델이 신화, 민속 춤, 문화 상징과 같은 문화적으로 특화된 내용을 담은 이미지를 얼마나 정확하게 캡션화할 수 있는가?
• RQ2 문화 인식 점수(CAS)는 인간 주석 기반 참조 데이터와 비교했을 때 모델이 생성한 캡션의 문화 이해 깊이를 어떻게 정량화하는가?
• RQ3 예를 들어 상징, 신호, 벡터 아트 등 어떤 이미지 유형에서 문화적으로 민감한 캡션 생성 성능이 가장 낮고 오류 비율이 가장 높은가?
• RQ4 현재 시각-언어 모델이 문화적으로 뉘앙스가 있는 이미지에 대해 캡션을 생성할 때 나타나는 주요 실패 유형은 무엇인가?
• RQ5 MOSAIC-1.5k 데이터셋과 CAS 지표는 새로운 모델의 미세조정 및 평가에 효과적으로 활용될 수 있는가?

주요 결과

• 네 가지 시각-언어 모델 전반에 걸쳐 전체적인 문화 인식 점수(CAS)가 낮아, 캡션에 필수적인 문화적 맥락을 포착하는 데에 제한된 능력을 보이고 있음을 시사한다.
• GPT-4V는 가장 높은 실패율을 보였으며, 약 55%의 캡션에서 실패로 간주되었고, 특히 신호 및 상징의 캡션 생성에서 두드러진 문제를 보였다.
• 문화 상징을 나타내는 벡터 이미지와 아이콘은 가장 낮은 CAS 점수와 가장 높은 오류 비율을 보였으며, 추상적이거나 스타일리시한 문화 표현을 해석하는 데서 특히 어려움을 겪고 있음을 시사한다.
• 특정 이미지 유형에서 캡션 오류 비율은 17%에서 24%에 이르며, 일반적인 문제로는 문화 개념의 오식별, 역사적 또는 맥락적 의미의 손실이 포함된다.
• 유사하거나 관련된 문화 개념 간에 자주 혼동이 발생하여, 모델의 이해가 의미적으로 정밀하지 못함을 확인하였다.
• 참조 캡션과 CAS 레이블이 할당된 MOSAIC-1.5k 데이터셋은 후속 평가 및 미세조정을 가능하게 하며, 더 문화적으로 민감한 AI 시스템을 훈련하기 위한 기초를 제공한다.