[論文レビュー] Stereotypes and Smut: The (Mis)representation of Non-cisgender Identities by Text-to-Image Models
本論文は、テキストから画像を生成するモデルがステレオタイプ化、性的化、非人間化によってセクシュアル・マイノリティのアイデンティティを歪めて表現する仕組みを、モデル出力の手動分析、非セクシュアル・ヘテロセクシュアルの人々へのアンケート調査、インタビューを通じて調査している。その結果、モデルは非セクシュアル・ヘテロセクシュアルのアイデンティティに対して一貫して現実的でなく、より性的化され、よりステレオタイプな画像を生成しており、コミュニティ主導の設計、キュレートされた学習データ、カスタマイズ可能な表現の導入を呼びかけ、倫理的かつ包摂的なAI開発を実現するよう提言している。
Cutting-edge image generation has been praised for producing high-quality images, suggesting a ubiquitous future in a variety of applications. However, initial studies have pointed to the potential for harm due to predictive bias, reflecting and potentially reinforcing cultural stereotypes. In this work, we are the first to investigate how multimodal models handle diverse gender identities. Concretely, we conduct a thorough analysis in which we compare the output of three image generation models for prompts containing cisgender vs. non-cisgender identity terms. Our findings demonstrate that certain non-cisgender identities are consistently (mis)represented as less human, more stereotyped and more sexualised. We complement our experimental analysis with (a)~a survey among non-cisgender individuals and (b) a series of interviews, to establish which harms affected individuals anticipate, and how they would like to be represented. We find respondents are particularly concerned about misrepresentation, and the potential to drive harmful behaviours and beliefs. Simple heuristics to limit offensive content are widely rejected, and instead respondents call for community involvement, curated training data and the ability to customise. These improvements could pave the way for a future where change is led by the affected community, and technology is used to positively ``[portray] queerness in ways that we haven't even thought of'' rather than reproducing stale, offensive stereotypes.
研究の動機と目的
- テキストから画像を生成するモデルがセクシュアル・ヘテロセクシュアルアイデンティティと比較して非セクシュアル・ヘテロセクシュアルアイデンティティをどのように表現しているかを、有害なバイアスに焦点を当て調査すること。
- モデル出力の体系的で手動による分析を通じて、非人間化、性的化、ステレオタイプ化といった具体的な形での誤表現を同定すること。
- アンケートとインタビューを通じて、非セクシュアル・ヘテロセクシュアルコミュニティが予想する被害と望ましい表現形態を理解すること。
- コミュニティからのフィードバックに基づいた、モデル開発者向けの実行可能な提言を提供すること。特に、コミュニティ参加とキュレートされた学習データの重要性を強調すること。
- 技術的解決策に頼るのではなく、偏見のない倫理的AI表現を形作るために、マイノリティコミュニティの声を核とするアプローチを提唱すること。
提案手法
- セクシュアル・ヘテロセクシュアルと非セクシュアル・ヘテロセクシュアルアイデンティティを示すキーワードを含むプロンプトに対して、3つのテキストから画像を生成するモデル（例：Stable Diffusion）の出力画像を比較する手動アノテーション研究を実施した。
- 生成された画像について、写真のようなリアルさ、顔貌の明確さ、性的化の有無、ステレオタイプな特徴（例：プライドフラッグの色、誇張された性別的特徴）を分析した。
- 非セクシュアル・ヘテロセクシュアルの人々にアンケートを実施し、AI生成画像における予想される被害と望ましい表現形態を特定した。
- 非セクシュアル・ヘテロセクシュアル参加者を対象に、半構造的インタビューを実施し、誤表現の生活体験と望ましいモデル動作のあり方を探った。
- 定性的なテーマ分析を用いてアンケートとインタビューのデータを解釈し、誤表現、物的化、被害に関する懸念を焦点にした。
- 分析用に、モデル生成画像のデータセットを収集・キュレートした。不正利用を防ぐため、アクセスは要請に応じて限定的に提供された。
実験結果
リサーチクエスチョン
- RQ1テキストから画像を生成するモデルは、非セクシュアル・ヘテロセクシュアルアイデンティティをセクシュアル・ヘテロセクシュアルアイデンティティと比較して、リアリズム、性的化、ステレオタイプ化の観点でどのように異なる表現をしているか？
- RQ2非セクシュアル・ヘテロセクシュアルの人々は、AI生成画像によるアイデンティティ表現に対して、どのような形での代表的被害を予想しているか？
- RQ3非セクシュアル・ヘテロセクシュアルコミュニティは、将来のテキストから画像を生成するモデルにおいて、自分たちがどのように表現されることを望んでいるか？
- RQ4影響を受けるコミュニティが、有害な表現を低減するために好む技術的および設計的介入の種別は何か？
- RQ5現在の技術的解決策（例：コンテンツフィルタ）は、非セクシュアル・ヘテロセクシュアルユーザーのニーズと価値観とどの程度整合しているか？
主な発見
- テキストから画像を生成するモデルは、非セクシュアル・ヘテロセクシュアルアイデンティティに対して一貫して現実的でなく、より性的化され、よりステレオタイプな画像を生成しており、特にトランスジェンダーフェミニンと非バイナリーの人々に対して顕著である。
- 非セクシュアル・ヘテロセクシュアルアイデンティティの生成画像の多くが顔貌の明確な特徴を欠いており、ステレオタイプな色（例：プライドフラッグの色）が使われており、非人間化を助長している。
- 非セクシュアル・ヘテロセクシュアルのアンケート回答者たちは、誤表現に対する強い懸念を示しており、特に有害な社会的信念を強化し、差別の的行動を助長するリスクを懸念している。
- コンテンツフィルタのような単純な技術的対策は参加者によって広く拒否され、代わりにコミュニティ参加とキュレートされた学習データの重要性を優先している。
- インタビュー参加者たちは、カスタマイズ可能な表現の必要性と、マイノリティコミュニティをモデル開発に参加させることの重要性を強調しており、象徴的表現やバイアスのない開発を避けるためである。
- 本研究は、技術的解決策とコミュニティ主導の設計との間のギャップを浮き彫りにし、クイアアイデンティティを画期的でステレオタイプでない方法で反映するモデルの必要性を提唱している。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。