[論文レビュー] AI-generated faces influence gender stereotypes and racial homogenization

Nouar AlDahoul, Talal Rahwan+1 more|arXiv (Cornell University)|Feb 1, 2024

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本稿では、生成された顔画像における人種および性別に関するステレオタイプを低減するための新しいデバイアス化手法として、SDXL-Inc と SDXL-Div を提案する。最先端の顔分類器を用いて、6つの人種、2つの性別、5つの年齢層、32の職業、8つの属性についてバイアスを定量化し、従来の手法と比較して顔の表現の公平性および顔貌の多様性が顕著に向上することを示している。結果は公開されており、一般利用が可能である。

ABSTRACT

Text-to-image generative AI models such as Stable Diffusion are used daily by millions worldwide. However, the extent to which these models exhibit racial and gender stereotypes is not yet fully understood. Here, we document significant biases in Stable Diffusion across six races, two genders, 32 professions, and eight attributes. Additionally, we examine the degree to which Stable Diffusion depicts individuals of the same race as being similar to one another. This analysis reveals significant racial homogenization, e.g., depicting nearly all Middle Eastern men as bearded, brown-skinned, and wearing traditional attire. We then propose debiasing solutions that allow users to specify the desired distributions of race and gender when generating images while minimizing racial homogenization. Finally, using a preregistered survey experiment, we find evidence that being presented with inclusive AI-generated faces reduces people's racial and gender biases, while being presented with non-inclusive ones increases such biases, regardless of whether the images are labeled as AI-generated. Taken together, our findings emphasize the need to address biases and stereotypes in text-to-image models.

研究の動機と目的

• 異なる文化的背景を持つ集団における Stable Diffusion XL が生成する顔画像に、人種的および性別的ステレオタイプがどの程度存在するかを定量化すること。
• 最先端の手法を凌駕する新たなデバイアス化手法を開発・評価し、公平な表現を促進すること。
• AI が生成する画像において、人種的・性別的グループ内での顔貌の均質化度合いを分析すること。
• 公開可能で実装可能なソリューションを提案し、テキストから画像への生成における多様性を向上させること。
• プロンプトベースのデバイアス化手法に伴う課題、例えば言語的曖昧性や透過性の欠如を、自動化された GPT-4 補助によるプロンプト制御によって解決すること。

提案手法

• 顔検出（MTCNN を使用）、VGGFace ResNet-50 CNN を用いた顔埋め込み抽出、および RBF カーネルを用いた SVM を用いた分類（人種・性別・年齢予測）の3段階パイプラインを開発した。
• 訓練済み分類器は最先端の性能を達成し、6つの人種、2つの性別、5つの年齢層、32の職業、8つの属性について、Stable Diffusion XL の出力におけるバイアスを定量化するために使用された。
• SDXL-Inc は、画像とテキストの特徴を整合させるために、学習可能なプロンプトと CLIP 埋め込みを用いた微調整により開発された。これにより、文化的背景ごとのバランスの取れた生成が可能になった。
• SDXL-Div は、プロンプトに人種および性別属性が明示されていない場合に、ランダムにその属性を注入することで顔貌の多様性を向上させるために導入された。GPT-4 を用いてプロンプト内容を検出し、制御した。
• ユーザーのプロンプトを分析し、欠落している文化的背景属性（人種・性別）を自動で注入する GPT-4 ループ内システムを実装した。これにより、バランスの取れた表現が保証された。
• ITI-GEN モデルは、著者らの分類器を用いて、Flickr-Faces-HQ データセットから選別されたデータで再訓練し、トレーニング段階での性別および人種のバランスを確保した。

実験結果

リサーチクエスチョン

• RQ1 Stable Diffusion XL が生成する顔画像は、多様な文化的背景の集団において、どの程度人種的・性別的ステレオタイプを示しているか？
• RQ2 分類器ガイダンス付きプロンプト生成と GPT-4 ループ内プロンプト制御は、テキストから画像への生成における表現バイアス低減にどの程度効果的か？
• RQ3 SDXL-Inc や SDXL-Div といったデバイアス化手法は、既存の最先端手法を凌駆することができるか？特に顔貌の公平な表現を促進する点で。
• RQ4 AI が生成する顔画像は、人種的・性別的グループ内でどの程度顔貌が均質化しているか？その問題はどのように緩和できるか？
• RQ5 LLM を用いた自動プロンプトインジェクションの統合は、生成画像の公平性および多様性にどのような影響を及えるか？

主な発見

• 提案された顔分類器は、人種・性別・年齢予測において最先端の性能を達成し、Stable Diffusion XL の出力におけるバイアスの正確な定量化を可能にした。
• Stable Diffusion XL は強いステレオタイプを示しており、例えば中東系男性の多くが肌が黒く、ひげがあり、伝統的な頭巾を被っていると描かれる傾向にあった。
• SDXL-Inc と SDXL-Div は、6つの人種および2つの性別すべてにおいて、既存のデバイアス化手法を顕著に上回るバランスの取れた表現を実現した。
• GPT-4 ループ内システムは、欠落している文化的背景属性を効果的にプロンプトに注入し、手動でのプロンプト設計を必要とせずに公平性を向上させた。
• 著者らの分類器を用いて ITI-GEN を再訓練した結果、人種の表現はほぼ均等になったが、ラテン系については、白人および中東系と顔貌が類似しているため、その表現はやや不均衡だった。
• 本研究のデバイアス化ソリューションおよびすべてのトレーニングデータは、GitHub リポジトリを通じて公開されており、再現性およびコミュニティによる採用が可能である。