[논문 리뷰] Do Generative AI Models Output Harm while Representing Non-Western Cultures: Evidence from A Community-Centered Approach

Sourojit Ghosh, Pranav Narayanan Venkit외 3명|arXiv (Cornell University)|2024. 07. 20.

Psychology of Moral and Emotional Judgment인용 수 4

한 줄 요약

이 연구는 텍스트-이미지 생성 AI 모델이 비서구 문화, 특히 인도 하위문화를 어떻게 왜곡하는지 탐구하며, 공동체 중심 접근법을 통해 분석한다. 5개의 포커스 그룹에 기반한 땅다운 이론 분석을 통해 기존에 알려지지 않은 표현적 해로움 형태인 이국화와 문화적 착취를 규명하며, AI 출력물에 내재된 체계적 편향을 드러내고 글로벌 AI 개발에서 문화적 정확성과 포용성을 증진하기 위한 사회기술적 설계 지침을 제안한다.

ABSTRACT

Our research investigates the impact of Generative Artificial Intelligence (GAI) models, specifically text-to-image generators (T2Is), on the representation of non-Western cultures, with a focus on Indian contexts. Despite the transformative potential of T2Is in content creation, concerns have arisen regarding biases that may lead to misrepresentations and marginalizations. Through a community-centered approach and grounded theory analysis of 5 focus groups from diverse Indian subcultures, we explore how T2I outputs to English prompts depict Indian culture and its subcultures, uncovering novel representational harms such as exoticism and cultural misappropriation. These findings highlight the urgent need for inclusive and culturally sensitive T2I systems. We propose design guidelines informed by a sociotechnical perspective, aiming to address these issues and contribute to the development of more equitable and representative GAI technologies globally. Our work also underscores the necessity of adopting a community-centered approach to comprehend the sociotechnical dynamics of these models, complementing existing work in this space while identifying and addressing the potential negative repercussions and harms that may arise when these models are deployed on a global scale.

연구 동기 및 목표

• 텍스트-이미지(T2I) 모델이 인도 문화와 그 하위문화를 어떻게 표현하는지, 특히 비서구적 맥락에서 어떻게 표현하는지 탐구하기.
• 다양한 인도 공동체를 차별하거나 잘못 표현하는 AI 생성 콘텐츠에서 나타나는 새로운 형태의 표현적 해로움을 밝혀내기.
• 더 공정하고 정확한 T2I 시스템을 위해 문화적으로 기반을 둔, 공동체 기반의 설계 원칙을 개발하기.
• 서구 중심의 프레임워크가 AI 윤리에서 지배적인 위치를 차지하는 것을 도전하며, 글로벌 남부의 소외된 목소리를 중심에 두기.
• 문화 지식과 공동체의 주도권을 모델 개발 과정에 통합하는 사회기술적 접근을 통해 AI 설계를 촉진하기.

제안 방법

• 다양한 인도 하위문화와 지역 출신의 25명의 참가자들이 참여한 5개의 공동체 기반 포커스 그룹을 실시하여, 문화적으로 특화된 프롬프트에 대한 T2I 출력물의 반응을 분석했다.
• Charmaz(2017)의 땅다운 이론 분석을 적용하여 AI 생성 이미지의 표현적 해로움 패턴을 체계적으로 식별하고 분류했다.
• 참가자가 선택한 영어 프롬프트에 대해 스테ble Diffusion 모델이 실시간으로 생성한 출력물을 분석하여 시각적 표현을 분석했다.
• 주제 코드 분석을 바탕으로 시각적 및 서사적 콘텐츠를 분석하여, 이국화와 문화적 착취라는 두 가지 새로운 형태의 표현적 해로움을 정의하고 운영화했다.
• 공동체 참가자들과 문화 전문가들의 통찰을 통합하여 사회기술적 시각에서 설계 지침을 개발했다.
• 연구 자료를 GitHub 레포지토리에 공개하여 투명성과 재현 가능성을 확보했다.

실험 결과

연구 질문

• RQ1 T2I 출력물은 인도 문화와 그 하위문화를 어떻게 표현하며, 이러한 표현이 다양한 문화 집단에 미치는 영향은 무엇인가?
• RQ2 T2I 시스템과 인도 문화 맥락 간의 상호작용에서 나타나는 새로운 형태의 표현적 해로움은 무엇인가?
• RQ3 어떻게 공동체 중심의 설계 원칙이 이러한 해로움을 완화하고 생성형 AI 시스템의 문화적 정확성을 향상시킬 수 있는가?
• RQ4 비이국화적이며 정확한 표현을 유도하기 위한 시도가 왜 문화적으로 적절한 출력을 내지 못하는가?
• RQ5 표면적인 문화적 신호는 사용자의 의도와는 상관없이 왜 여전히 잘못된 표현을 부추기는가?

주요 결과

• T2I 모델은 농촌 풍경의 과도한 비중, 모든 여성형 인물에 대한 상의(예: 샤레)의 과도한 표현, 시장이나 일상생활의 과도하게 화사한 묘사 등으로 인도 문화를 일관되게 이국화한 표현을 생성한다.
• 사용자가 전통적 이미지를 피하기 위해 프롬프트를 다듬어도 이국화가 지속되는 것으로 나타나, 모델 훈련 데이터와 생성 로직에 체계적인 편향이 내재되어 있음을 시사한다.
• 문화적 착취가 널리 퍼져 있으며, 지역별 아침 식사의 잘못된 융합, 지역 복식의 둘레 감는 방식의 잘못된 묘사, 전통 무용 장식의 오용 등이 포함된다.
• 참가자들은 이러한 잘못된 표현이 특히 눈에 띄지 않는 하위문화와 지역 정체성을 약화시키고 소외시키며 문화적 지워냄을 초래한다고 보고했다.
• T2I 모델에는 문화적 특징을 맥락에 따라 통합된 실천으로 보다는 고립된, 전형적인 상징물로만 간주하는 데서 비롯된 뚜렷한 문화 이해의 부족이 드러났다.
• 사용자가 정확한 표현을 유도하기 위해 노력해도 모델은 여전히 문화적으로 적절한 출력을 내지 못함을 확인하여, 공동체 기반의 데이터와 설계가 절실한 필요성을 재확인한다.