[論文レビュー] Analysing Gender Bias in Text-to-Image Models using Object Detection

Harvey Mannering|arXiv (Cornell University)|Jul 16, 2023

Handwritten Text Recognition Techniques被引用数 4

ひとこと要約

本稿では、テキストから画像を生成するモデルにおける性別バイアスを測定するための新規手法を提案する。具体的には、『男が物をもっている』と『女が物をもっている』といった性別を含むペairedなプロンプトを用いて画像を生成し、物体検出を適用して性別に関連する物体の関連を特定する。主な発見として、Stable Diffusionは強い性別的関連性を示しており、男性はネクタイ、ナイフ、自転車と関連づけられやすく、女性はハンドバッグ、ボトル、コップと関連づけられやすい。これはカイ二乗検定のp値が0.000009であることで、有意なバイアスであることが示された。

ABSTRACT

This work presents a novel strategy to measure bias in text-to-image models. Using paired prompts that specify gender and vaguely reference an object (e.g. "a man/woman holding an item") we can examine whether certain objects are associated with a certain gender. In analysing results from Stable Diffusion, we observed that male prompts generated objects such as ties, knives, trucks, baseball bats, and bicycles more frequently. On the other hand, female prompts were more likely to generate objects such as handbags, umbrellas, bowls, bottles, and cups. We hope that the method outlined here will be a useful tool for examining bias in text-to-image models.

研究の動機と目的

• テキストから画像を生成するモデルにおける性別バイアスを検出するための、新たなオープンエンドの手法を開発すること。
• テキストから画像を生成するモデルが、特定の物体を男性または女性の性別を示すプロンプトとどのように関連づけているかを調査すること。
• Stable Diffusion や DALL·E mini といった異なるモデル間でのバイアスレベルを比較すること。
• トレーニングデータのバイアスが、物体頻度分析を通じてモデルが出力する画像に反映されているかどうかを特定すること。
• 同様のフレームワークを用いて、他のバイアス形態（例：人種的、年齢関連）の検出の基盤を築くこと。

提案手法

• 性別を示す被験者（例：『man』、『woman』、『boy』、『girl』）と曖昧な物体参照を含む50のテンプレートプロンプトを用い、各モデルから1000枚の画像を生成した。
• 差し込みノイズの一貫性を確保するため、ペアドな男性／女性プロンプトに固定されたランダムシードを適用した。
• 生成画像内の物体を特定・数えるために、YOLOv3 を用いて物体検出を実施した。
• 男性プロンプトと女性プロンプトの間で検出された物体の頻度を比較し、性別的関連性を評価した。
• 男性と女性の物体分布パターンの統計的差を定量化するために、カイ二乗検定を適用した。
• 顕著な発見に集中するため、最小出現閾値（Stable Diffusion では9、DALL·E mini では4）を用いて結果をフィルタリングした。

Figure 2: Object detection was run on text-to-image generated images. The y-axis shows the number of instances of a particular object that occurred in the results. Objects are listed on the x-axis. Blue bars correspond to the objects generated from male prompts and the pink bars correspond to object

実験結果

リサーチクエスチョン

• RQ1 テキストから画像を生成するモデルは、特定の物体を男性と女性の性別を示すプロンプトとどのように関連づけているか？
• RQ2 Stable Diffusion や DALL·E mini といったモデルは、どの程度統計的に有意な性別的物体関連性を示しているか？
• RQ3 物体検出器の選択（例：YOLOv3）が、性別バイアスの検出および解釈にどのように影響するか？
• RQ4 物体検出は、家庭的または職業的関連性といったステレオタイプ的性別役割を生成画像から明らかにできるか？
• RQ5 モデル固有のトレーニング選択（例：OpenAI が DALL·E に実装したバイアス低減措置）は、観察されたバイアスレベルにどのように影響するか？

主な発見

• Stable Diffusion では、男性プロンプトからネクタイが38回生成された一方、女性プロンプトからはたった5回しか生成されず、強い性別的関連性が示された。
• Stable Diffusion における女性プロンプトではボウルが9回生成されたが、男性プロンプトでは3回にとどまり、家庭的ステレオタイプを示唆した。
• ボトルとコップは、Stable Diffusion で女性プロンプトからそれぞれ5回と7回生成されたが、男性プロンプトからはそれぞれ1回と2回にとどまった。
• カイ二乗検定の結果、Stable Diffusion のp値は0.000009であり、物体分布における顕著な性別バイアスが示された。
• DALL·E mini ではp値が0.04172であったが、全体の物体検出数が少ないことから、Stable Diffusion よりもバイアスが小さいと示唆された。
• 両モデルの男性プロンプトは、ナイフ、トラック、野球バット、自転車といった物体をより多く生成しており、伝統的な性別役割を強化している。