[논문 리뷰] A Sign That Spells: DALL-E 2, Invisual Images and The Racial Politics of Feature Space

Fabian Offert, Thao Phan|arXiv (Cornell University)|2022. 10. 26.

Participatory Visual Research Methods인용 수 20

한 줄 요약

이 논문은 DALL-E 2 및 이와 유사한 모델이 특징 추출과 의미 압축을 통해 어떻게 ‘백인성’을 인코딩하고 재생산하는지 분석하며, 디버 biases가 종종 클라이언트 측에 있고 파운데이션 모델이 인종적으로 민감한 방식으로 시각 문화를 재구성한다고 주장합니다.

ABSTRACT

In this paper, we examine how generative machine learning systems produce a new politics of visual culture. We focus on DALL-E 2 and related models as an emergent approach to image-making that operates through the cultural techniques of feature extraction and semantic compression. These techniques, we argue, are inhuman, invisual, and opaque, yet are still caught in a paradox that is ironically all too human: the consistent reproduction of whiteness as a latent feature of dominant visual culture. We use Open AI's failed efforts to 'debias' their system as a critical opening to interrogate how systems like DALL-E 2 dissolve and reconstitute politically salient human concepts like race. This example vividly illustrates the stakes of this moment of transformation, when so-called foundation models reconfigure the boundaries of visual culture and when 'doing' anti-racism means deploying quick technical fixes to mitigate personal discomfort, or more importantly, potential commercial loss.

연구 동기 및 목표

• 대규모 시각 모델이 DALL·E 2와 같은 모델을 통해 특징 추출과 의미 압축으로 시각 문화를 재구성하는 방식을 조사한다.
• 겉보기에는 중립적인 표현이 어떻게 백인성과 인종화된 개념을 재생산하는지 분석한다.
• OpenAI의 디버.bias 노력과 그 정치적·상업적 영향에 대해 비판적으로 평가한다.
• 데이터나 표현의 결함을 넘어서 파운데이션 모델에 대한 새로운 인간중심 비판을 제시한다.

제안 방법

• OpenAI의 릴리스 노트와 DALL·E 2 및 debiasing에 대한 공개 발언을 분석한다.
• 사용자 보고서와 실험(예: 'a sign that spells'와 같은 프롬프트)을 검토하여 편향이 사용자 상호작용에서 어떻게 드러나는지 밝힌다.
• 대형 시각 모델의 맥락에서 특징 공간, 보이지 않음(invisuality), 백인성의 이론적 개념을 논의한다.
• ML 시스템의 시각 문화 정치학을 규정하기 위해 비판적 인종 이론과 후기 인류학 문헌을 활용한다.

실험 결과

연구 질문

• RQ1 대규모 시각 모델이 특징 추출과 의미 압축을 통해 시각 문화의 경계를 어떻게 재구성하는가?
• RQ2 DALL·E 2가 지배적 시각 문화의 잠재적 특징으로서 백인성을 재생산하거나 안정시키는가?
• RQ3 파운데이션 모델의 디버.bias 노력의 정치적·상업적 의미는 무엇인가?
• RQ4 출력 형성에 있어 프롬프트와 언어의 역할을 비판적으로 다루는 인간중심 비판은 머신러닝을 어떻게 더 잘 다룰 수 있는가?

주요 결과

• OpenAI의 디버.bias 주장은 시스템적 모델 변화가 아니라 사용자에게 노출되는 키워드 추가로 드러난다.
• 생성 모델의 특징 공간은 인종과 같은 개념을 용해했다가 부활시키며 백인성을 강화하는 방식으로 작동한다.
• 디버.bias는 상업적 이익과 자유주의 다문화주의에 얽매여 인종적 불의를 직시하는 데 한계가 있다.
• 비판적 논평은 시스템적 데이터 갭뿐 아니라 기술적이고 문화적인 현상으로서 기계적 백인성을 검토하는 방법을 제안한다.
• 사용자 프롬프트는 독점적 모델에 대한 완전한 접근 없이도 편향과 출력 기전을 드러낼 수 있다.