[論文レビュー] Gender Bias in Multimodal Models: A Transnational Feminist Approach Considering Geographical Region and Culture

Abhishek Mandal, Suzanne Little+1 more|arXiv (Cornell University)|Sep 10, 2023

Computational and Text Analysis Methods被引用数 4

ひとこと要約

本稿は、CLIP などのマルチモーダルモデルにおける性別バイアスを監査するためのトランスナショナルフェミニズム枠組みを提案する。地理的地域および文化的文脈を統合する。グローバルな地域間でコサイン類似度スコアを用いて分析した結果、社会的性別不平等（グローバル・ジェンダー・ギャップ・インデックスで測定）とモデルバイアスの強い相関が確認された。特にグローバル・サウス地域では、より強いステレオタイプが見られ、特に「テロリズム」と関連づけられる「慎みある服装」の女性が顕著であった。

ABSTRACT

Deep learning based visual-linguistic multimodal models such as Contrastive Language Image Pre-training (CLIP) have become increasingly popular recently and are used within text-to-image generative models such as DALL-E and Stable Diffusion. However, gender and other social biases have been uncovered in these models, and this has the potential to be amplified and perpetuated through AI systems. In this paper, we present a methodology for auditing multimodal models that consider gender, informed by concepts from transnational feminism, including regional and cultural dimensions. Focusing on CLIP, we found evidence of significant gender bias with varying patterns across global regions. Harmful stereotypical associations were also uncovered related to visual cultural cues and labels such as terrorism. Levels of gender bias uncovered within CLIP for different regions aligned with global indices of societal gender equality, with those from the Global South reflecting the highest levels of gender bias.

研究の動機と目的

• マルチモーダルモデル（例：CLIP）における性別バイアスが地理的地域および文化的文脈によってどのように変動するかを調査すること。
• 西洋中心の枠組みを超えて、交差的性別バイアスを分析するため、トランスナショナルフェミニズム理論を適用すること。
• 社会的水準における性別不平等が、マルチモーダル埋め込みにおけるモデル水準の性別バイアスと相関するかどうかを評価すること。
• 文化的な視覚的手がかり（例：ヘジャブ、衣服）が、モデル予測におけるステレオタイプ的関連づけにどのように寄与するかを特定すること。
• 英語圏インターネットソースに主に由来するトレーニングデータバイアスが、性別および地域に関するステレオタイプ化に及ぼす影響を評価すること。

提案手法

• 多様な地理的地域からなる、男性および女性の画像から成るグローバルデータセットを構築した。文化的・地域的多様性に焦点を当てた。
• CLIPのテキストおよび画像エンコーダーを用いて、地域および性別ごとの画像埋め込みと、性別的記述語（形容詞、職業）との間のコサイン類似度を計算した。
• Grad-CAM可視化を用いて、モデル予測に最も寄与する画像領域（例：ヘジャブ）を同定した。例えば、「テロリスト」という語がヘッドドレスを着た女性と関連づけられる理由を特定した。
• 地域別に算出した性別差分スコア（男性語と女性語との類似度差）を、グローバル・ジェンダー・ギャップ・インデックス（GGI）と相関させた。
• 形容詞（例：「思いやりのある」、「洗練された」）および職業（例：「助産師」、「建築家」）を地域ごとに分析し、性別バイアスのパターンを検出した。
• ピアソン相関を用いた統計的分析により、GGIスコアとモデルバイアス指標との関係を検証し、r値およびp値を報告した。

Figure 1: Grad-CAM results for the question ‘Who is the terrorist?’ for images from all regions. Regions: Top-Bottom, L-R: WANA, WE, SA, SSA, EA, SEA, LA, EE. Same pattern for images of men and women.

実験結果

リサーチクエスチョン

• RQ1 CLIPにおける性別バイアスは、異なる地理的地域および文化的文脈でどのように変動するか？
• RQ2 ヘジャブや衣服といった文化的な視覚的手がかりが、マルチモーダルモデルの予測におけるステレオタイプ的関連づけにどの程度影響を及ぼすか？
• RQ3 社会的水準におけるジェンダー平等（グローバル・ジェンダー・ギャップ・インデックスによる測定）と、CLIPの埋め込みで観察される性別バイアスの度合いとの間に、測定可能な相関があるか？
• RQ4 地域別に表現される性別化された職業および形容詞は、既存の社会的ステレオタイプをどのように反映または強化するか？
• RQ5 モデルのバイアスは、英語圏インターネットソースに主に由来するトレーニングデータの影響をどの程度受けているか？

主な発見

• 形容詞に関する性別差分スコアとグローバル・ジェンダー・ギャップ・インデックス（GGI）との間に強い負の相関が確認された（r = -0.84, p = 0.003）。これは、ジェンダー平等が低い地域でバイアスが高くなることを示している。
• 南アジア、西アジア、北アフリカの地域では、形容詞の関連づけにおいて性別バイアスが最も強く、特に女性が「思いやりのある」「洗練された」「繊細な」と関連づけられていた。
• 職業に関しては、東アジアおよび東南アジアの女性の画像が、「助産師」「家政婦」「図書館司書」との類似度が最も高く、地域的性別役割ステレオタイプを反映していた。
• ヘジャブを着た女性の画像は、CLIPの予測において「テロリスト」と強く関連づけられていたことが、Grad-CAMの注目マップにより確認された。注目マップは、頭部装飾部が予測に最も寄与していることを示した。
• 職業に関するGGIとバイアスの相関も有意であった（r = -0.78, p = 0.0012）。社会的不平等とモデルバイアスの関連性を裏付けるものであった。
• ヨーロッパ、北米、東アジアは、性別差分スコアが最も低く、グローバル・ジェンダー・ギャップ・インデックスでも上位に位置し、ジェンダー平等が進んでいる社会ではモデルバイアスが少ないことが示された。

Figure 2: Grad-CAM results for the question ‘Who is the terrorist?’ for images of women from West Asia and North Africa.