[論文レビュー] A Sign That Spells: DALL-E 2, Invisual Images and The Racial Politics of Feature Space

Fabian Offert, Thao Phan|arXiv (Cornell University)|Oct 26, 2022

Participatory Visual Research Methods被引用数 20

ひとこと要約

本論文は、DALL-E 2 および類似モデルが特徴抽出と意味的圧縮を通じて「白さ」をエンコードし再現する方法を分析し、デバイアスをしばしばクライアント側に留めると主張し、基盤モデルが人種的に偏った方法で視覚文化を再形成することを論じる。

ABSTRACT

In this paper, we examine how generative machine learning systems produce a new politics of visual culture. We focus on DALL-E 2 and related models as an emergent approach to image-making that operates through the cultural techniques of feature extraction and semantic compression. These techniques, we argue, are inhuman, invisual, and opaque, yet are still caught in a paradox that is ironically all too human: the consistent reproduction of whiteness as a latent feature of dominant visual culture. We use Open AI's failed efforts to 'debias' their system as a critical opening to interrogate how systems like DALL-E 2 dissolve and reconstitute politically salient human concepts like race. This example vividly illustrates the stakes of this moment of transformation, when so-called foundation models reconfigure the boundaries of visual culture and when 'doing' anti-racism means deploying quick technical fixes to mitigate personal discomfort, or more importantly, potential commercial loss.

研究の動機と目的

• 大規模な視覚モデル（例：DALL·E 2）の特徴抽出と意味的圧縮を通じて視覚文化を再構成する方法を調査する。
• 表向きにはニュートラルな表現がどのように白さと人種化された概念を再生産するかを検討する。
• OpenAI のデバイアス除去の取り組みとそれらの政治的・商業的影響を批判的に評価する。
• データや表現の欠陥を超えた新しい人文学的批評を、基盤モデルに適用することを提案する。）

提案手法

• OpenAI のリリースノートと DALL·E 2 およびデバイアス除去に関する公的発言を分析する。
• ユーザーの報告や実験（例：'a sign that spells' のようなプロンプト）を検証し、ユーザーの相互作用から偏見がどのように生まれるかを明らかにする。
• 大規模な視覚モデルの文脈における特徴空間、非視覚性、白さといった理論概念を論じる。
• クリティカル・レース理論およびポストヒューマニスト文学を引用して、機械学習システムにおける視覚文化の政治を枠組みづける。）

実験結果

リサーチクエスチョン

• RQ1 大規模な視覚モデルは特徴抽出と意味的圧縮を通じて視覚文化の境界をどのように再構成するのか。
• RQ2 DALL·E 2 は支配的な視覚文化の潜在的特徴として白さをどのように再生産または安定化させるのか。
• RQ3 基盤モデルにおけるデバイアス除去の取り組みの政治的・商業的影響は何か。
• RQ4 機械学習の批判的・人文学的批評は、出力を形作る言語とプロンプトの役割にどのようにより適切に対処できるか。

主な発見

• OpenAI のデバイアス除去の主張は、系統的なモデル変更ではなく、ユーザーに向けられたキーワード追加として明らかになる。
• 生成モデルの特徴空間は、白さを強化するように、人種などの概念を溶解させ再生する。
• デバイアス除去は、人種的不正義に立ち向かうのではなく、商業的な利益と自由主義的多文化主義に結びついている。
• この批評は、データの欠陥だけでなく、機械的白さを技術的・文化的現象として検討する方法を提唱する。
• ユーザープ Prompts は、独自モデルへの完全アクセスを必要とせずに、偏見と出力の機構を明らかにできる。）