[論文レビュー] How Culturally Aware are Vision-Language Models?

Olena Burda-Lassen, Aman Chadha+2 more|arXiv (Cornell University)|May 24, 2024

Language, Metaphor, and Cognition被引用数 4

ひとこと要約

本論文は、神話、民謡、文化的象徴など文化的に特化した画像の文脈豊かな正確なキャプション生成能力を評価するための新規指標である文化的認識スコア（CAS）を導入する。MOSAIC-1.5kデータセット（人間によるアノテーション済みの正解とCASラベルを備える）を用いて、GPT-4V、Gemini Pro Vision、LLaVA、OpenFlamingoを評価した結果、特に象徴的・図像的画像において低いCASスコアが得られ、現在のモデルにおける文化的感受性の向上の余地が大きいことが明らかになった。

ABSTRACT

An image is often considered worth a thousand words, and certain images can tell rich and insightful stories. Can these stories be told via image captioning? Images from folklore genres, such as mythology, folk dance, cultural signs, and symbols, are vital to every culture. Our research compares the performance of four popular vision-language models (GPT-4V, Gemini Pro Vision, LLaVA, and OpenFlamingo) in identifying culturally specific information in such images and creating accurate and culturally sensitive image captions. We also propose a new evaluation metric, the Cultural Awareness Score (CAS), which measures the degree of cultural awareness in image captions. We provide a dataset MOSAIC-1.5k labeled with ground truth for images containing cultural background and context and a labeled dataset with assigned Cultural Awareness Scores that can be used with unseen data. Creating culturally appropriate image captions is valuable for scientific research and can be beneficial for many practical applications. We envision our work will promote a deeper integration of cultural sensitivity in AI applications worldwide. By making the dataset and Cultural Awareness Score available to the public, we aim to facilitate further research in this area, encouraging the development of more culturally aware AI systems that respect and celebrate global diversity.

研究の動機と目的

• 神話、民謡、文化的象徴のような文化的な内容が豊富な画像を正確かつ感受的にキャプション化できるかどうかを評価すること。
• とくに文脈依存的な視覚的要素に対して、文化的感受性のための標準化された評価が不足している現状に対処すること。
• モデル生成キャプションにおける文化的理解の深さを定量的に評価できる新しい評価指標、文化的認識スコア（CAS）の開発と検証を行うこと。
• 正解キャプションと割り当てられたCAS値を備えた、1,500枚の文化的に豊かな画像からなる人間アノテート済みのMOSAIC-1.5kデータセットの作成と公開を行い、将来的な評価に活用すること。
• 提案されたデータセットと指標を用いて、より文化的に感受性のあるAIシステムの開発を促進し、ファインチューニングとベンチマークの実施を可能にすること。

提案手法

• 文化的認識スコア（CAS）を提案する。これは、キャプションに必須の文化的文脈、背景、正しい概念の識別が含まれているかどうかに基づき、バイナリ評価指標としてスコアを付与する。
• 神話、民謡、文化的な標識や象徴など多様な文化的ジャンルから成る1,500枚の画像を含むMOSAIC-1.5kデータセットを収集した。各画像には正解キャプションとCAS値がラベル付けされている。
• 文化的正確性を確保しバイアスを低減するために、専門家による人間によるラベリングを実施。文化的概念ごとに複数の例を収集することで、耐性を高めた。
• GPT-4V、Gemini Pro Vision、LLaVA、OpenFlamingoの4つの代表的な視覚言語モデルを、MOSAIC-1.5kデータセットの画像キャプション生成能力について評価した。
• CAS指標を用いて、異なる画像カテゴリにおけるモデルのパフォーマンスを評価し、文化的象徴の誤認や文脈的意味の喪失といった失敗パターンを同定した。
• ラベル付け済みデータセットを用いて、未観測データにおけるCASの予測に適した分類器を訓練し、将来的なモデルの文化的感受性に対するスケーラブルな評価を可能にした。

実験結果

リサーチクエスチョン

• RQ1 視覚言語モデルは、神話、民謡、文化的象徴のような文化的に特化したコンテンツを含む画像をどれほど正確にキャプション化できるか。
• RQ2 文化的認識スコア（CAS）は、人間によるアノテート済み正解と比較して、モデル生成キャプションにおける文化的理解の深さをどのように定量化するか。
• RQ3 アイコン、標識、ベクトルアートなどの画像カテゴリの中で、文化的に感受性のあるキャプション生成において最も低いパフォーマンスと高い誤り率を示すのはどれか。
• RQ4 現在の視覚言語モデルが、文化的にニュアンスのある画像のキャプション生成において主にどのような失敗モードを示すか。
• RQ5 MOSAIC-1.5kデータセットとCAS指標は、文化的感受性の向上を図る新しいモデルのファインチューニングと評価に効果的に利用できるか。

主な発見

• 4つの視覚言語モデル全体における文化的認識スコア（CAS）は低く、画像キャプションにおける必須の文化的文脈を捉える能力に制限があることが示された。
• GPT-4Vは最も高い失敗率を示し、約55％のキャプションが失敗と判定された。特に標識や象徴のキャプション生成において顕著だった。
• 文化的象徴を示すベクトル画像やアイコンは、CASスコアが最も低く、誤り率が最も高かった。抽象的または装飾的な文化的表現の解釈に特に困難を示した。
• 特定の画像カテゴリでは、キャプションの誤り率が17％から24％にのぼり、文化的概念の誤認や歴史的・文脈的意義の喪失が一般的な問題であった。
• 類似または関連する文化的概念の間で頻繁な混同が見られ、モデルの理解における意味的正確性の欠如が明らかになった。
• 正解キャプションとCASラベルを備えたMOSAIC-1.5kデータセットは、将来的な評価とファインチューニングを可能にし、より文化的に感受性のあるAIシステムの訓練基盤を提供する。