[論文レビュー] See It from My Perspective: How Language Affects Cultural Bias in Image Understanding

Amith Ananthram, Elias Stengel-Eskin+2 more|arXiv (Cornell University)|Jun 17, 2024

Language, Metaphor, and CognitionPsychology被引用数 3

ひとこと要約

本論文は、最先端の視覚言語モデル（VLM）に西洋文化バイアスが存在することを診断し、客観的および主観的タスクの両方で西洋文化の画像に対して東洋文化の画像よりも顕著に高い性能を示すことを示している。このバイアスの原因は、英語よりも中国語などの非英語言語が少ない言語事前学習によるものであり、言語事前学習のバランスを取ることで、英語でプロンプトを入力してもバイアスが軽減される。中国語でプロンプトを入力することでさらにバイアスが軽減され、特に事前学習段階で中国語が十分に表現されている場合に顕著である。

ABSTRACT

Vision-language models (VLMs) can respond to queries about images in many languages. However, beyond language, culture affects how we see things. For example, individuals from Western cultures focus more on the central figure in an image while individuals from East Asian cultures attend more to scene context. In this work, we characterize the Western bias of VLMs in image understanding and investigate the role that language plays in this disparity. We evaluate VLMs across subjective and objective visual tasks with culturally diverse images and annotations. We find that VLMs perform better on the Western split than on the East Asian split of each task. Through controlled experimentation, we trace one source of this bias in image understanding to the lack of diversity in language model construction. While inference in a language nearer to a culture can lead to reductions in bias, we show it is much more effective when that language was well-represented during text-only pre-training. Interestingly, this yields bias reductions even when prompting in English. Our work highlights the importance of richer representation of all languages in building equitable VLMs.

研究の動機と目的

• 最先端のVLMが、西洋視覚的アプローチよりも東洋視覚的アプローチを優遇する文化的バイアスを示すかどうかを調査すること。
• テキストのみの事前学習における言語分布が、マルチモーダル理解におけるVLMバイアスにどのように影響するかを特定すること。
• 中国語などの非英語言語でプロンプトを入力することで、VLMにおける西洋バイアスを軽減できるかどうかを評価すること。
• 文化的バイアス軽減において、多言語事前学習と多言語プロンプトの有効性を比較すること。
• 事前学習段階でターゲット言語が十分に表現されている場合と推論段階で表現されている場合とを比較し、バイアス軽減の効果がどちらがより顕著であるかを分析すること。

提案手法

• 文化的多様性を持つ画像理解タスクに対して、複数の市販VLM（例：LLaVAバージョン）を評価し、データを西洋および東洋のサブセットに分割する。
• Llama2およびBaichuan2 LLMを、英語のみまたは英語／中国語の混合コーパス（2Tトークン）で事前学習した後、CLIPビジョンエンコーダーで微調整する。
• 物体識別、質問応答、芸術感情分類の3つのタスクにおいて、西洋および東洋の画像サブセット間でのパフォーマンス差を測定する。
• 英語または中国語でプロンプトを入力することで、言語がバイアス軽減に与える影響を評価する制御実験を実施する。
• ロジットレンズプローブを用いて隠れ表現を分析し、特に中国語に関連する文化的に特化した視覚的関連性がモデルに内部化されているかどうかを評価する。
• 単言語と二言語のテキストコーパスで事前学習したモデルの結果を比較し、単言語と二言語のテキストコーパスを用いたマルチモーダル統合の結果を比較する。

Figure 1 : Whose perspective do VLMs model? Despite being multilingual , state-of-the-art VLMs exhibit a bias toward the imagery and perspectives of Western culture. In contrast, a more balanced language mix during text-only pre-training produces VLMs that are both multilingual and multicultural .

実験結果

リサーチクエスチョン

• RQ1 最先端のVLMのパフォーマンスは、客観的および主観的タスクの両方において、西洋文化の画像サブセットと東洋文化の画像サブセットで顕著に異なるか？
• RQ2 テキストのみの事前学習における言語分布が、VLMの文化的バイアスにどのように影響するか？
• RQ3 中国語などの非英語言語でプロンプトを入力することで、VLMにおける西洋バイアスを軽減できるか？もしそうならば、その効果が最も顕著になる条件は何か？
• RQ4 文化的バイアス軽減において、バランスの取れた多言語事前学習が単なる多言語プロンプトよりも効果的か？
• RQ5 トレーニング段階で中国語をマルチモーダル統合コーパスに含めることで西洋バイアスが軽減されるか？また、これは英語のみを使用する場合と比べてどう異なるか？

主な発見

• VLMは、物体識別、質問応答、芸術感情分類のすべてのタスクにおいて顕著な西洋バイアスを示しており、西洋の画像サブセットに対して一貫して高いパフォーマンスを示している。
• 英語と中国語のバランスの取れた言語混合を事前学習段階で使用することで、英語で推論を行ってもVLMの西洋バイアスが軽減される。
• 中国語でプロンプトを入力することでバイアスが軽減されるが、その効果は中国語が事前学習段階で十分に表現されていた場合に顕著に強く現れる。これは、事前学習段階での言語混合が推論段階の言語よりも重要であることを示している。
• 芸術感情分類のような主観的タスクではバイアス軽減が顕著に現れるが、物体識別のような客観的タスクに対しても、バランスの取れた事前学習によって測定可能な改善が見られる。
• Baichuan2ベースのモデルは、Llama2ベースのモデルよりも中国語的視点との文化的整合性が強く、隠れ状態プローブの結果から、Baichuan2は文化的に特化した視覚的関連性を捉え込んでいることが示された。
• 二言語コーパスを用いたマルチモーダル統合は一貫してバイアスを軽減しないことが判明し、事前学習段階での言語分布が融合データの言語よりもより大きな影響を持つことが強調された。

Figure 2 : Our approach. Step 1 : We measure the Western bias of off-the-shelf ( $\text{OTS}_{i}$ ) VLMs on culturally diverse image understanding tasks by comparing their performance on each task’s Western and Eastern splits. Step 2 : We train comparable multilingual VLMs (mLLaVA). We explore three