[論文レビュー] Auditing Gender Presentation Differences in Text-to-Image Models

Yanzhe Zhang, Lu Jiang+2 more|arXiv (Cornell University)|Feb 7, 2023

Human Motion and Animation被引用数 8

ひとこと要約

本論文はテキスト-to-画像モデルにおける属性レベルの性別表現差を定量化するGEP指標を提案し、CLIP空間上で構築された跨モダリティ分類器による自動GEP推定を提案。3つのモデルを横断して、人間の注釈との相関をCLIPのみより高く得られることを示す。

ABSTRACT

Text-to-image models, which can generate high-quality images based on textual input, have recently enabled various content-creation tools. Despite significantly affecting a wide range of downstream applications, the distributions of these generated images are still not fully understood, especially when it comes to the potential stereotypical attributes of different genders. In this work, we propose a paradigm (Gender Presentation Differences) that utilizes fine-grained self-presentation attributes to study how gender is presented differently in text-to-image models. By probing gender indicators in the input text (e.g., "a woman" or "a man"), we quantify the frequency differences of presentation-centric attributes (e.g., "a shirt" and "a dress") through human annotation and introduce a novel metric: GEP. Furthermore, we propose an automatic method to estimate such differences. The automatic GEP metric based on our approach yields a higher correlation with human annotations than that based on existing CLIP scores, consistently across three state-of-the-art text-to-image models. Finally, we demonstrate the generalization ability of our metrics in the context of gender stereotypes related to occupations.

研究の動機と目的

• テキスト-to-画像生成における属性レベルの性別表現差（GEP）を定義・定量化する。
• 生成画像における性別表現が属性の有無に及ぼす影響を測定する中立的かつ明示的 prompting フレームワークを導入する。
• 人間の注釈と相関し、CLIPベース手法を改善する自動GEP推定法を開発する。
• 複数のstate-of-the-artモデルを横断してGEPを評価し、モデル特有の表現差を理解し、職業ステレotypesへ一般化する。

提案手法

• GEPベクトルを定義し、各次元は中立設定および明示設定の下で、'a woman'プロンプトと'a man'プロンプトから生成された画像の属性頻度の差を測定する。
• ConceptNetおよびCOCO由来の文脈から分析対象属性集合Aと文脈集合Cを構築する。
• GEPを正規化L1ノルムとして計算し、モデル間の全体的な性別表現差のクロスモデル比較を可能にする。
• キャリブレーションとCLIP埋め込み空間で訓練された跨モダル属性分類器を用いて、CLIPベースの類似度から属性頻度を自動推定する。
• テキスト埋め込み上で訓練した複数の（アンサンブル）属性分類器を用いて画像中の属性の有無を予測し、人間の判断と相関するCLS-f_a測定を可能にする。
• 自動GEPと人間のGEPとのモデル間相関を Kendallのτ および MCC で評価；自動手法（C-f_a、CC-f_a、CLS-f_a）を人間の注釈と比較する。

実験結果

リサーチクエスチョン

• RQ1 テキスト-to-画像モデルは、性別固有の示唆を含むプロンプトを用いたとき、生成画像における性別化属性の表現差をどのように示すのか？
• RQ2 自動GEP推定フレームワークは人間が注釈したGEPに近づき、スケーラブルな評価ツールとして機能しうるのか？
• RQ3 GEPベースの分析は、モデル特有の傾向や職業に関連するステレオタイプを生成画像において明らかにするのか？

主な発見

• GEPは、女性にはドレス、男性にはスーツといった共通のステレオタイプと一致する属性レベルの性別表現差を、複数のモデルで捉える。
• 明示的なプロンプトは中立プロンプトよりも表現差を拡大する傾向があり、モデルごとに影響の大きさは異なる。
• DALL-E 2は性別属性結合が強く、画像品質が高い（CLIPスコアで示唆される）傾向がある一方、他モデルとは異なる属性相関を示す。
• CLIP由来特徴を用いた自動GEP推定器（C-f_a、CC-f_a、CLS-f_a）は、生のCLIP類似性のみより人間のGEPと強い相関を示し、人間判断との整合性が改善されている。
• GEPに基づく分析は職業関連のステレオタイプへ一般化でき、広範な性別分類を超えた実用性を示す。