[논문 리뷰] Evaluating Machine Perception of Indigeneity: An Analysis of ChatGPT's Perceptions of Indigenous Roles in Diverse Scenarios

Cecilia Delgado Solorzano, Carlos Toxtli Hernandez|arXiv (Cornell University)|2023. 01. 01.

FinTech, Crowdfunding, Digital Finance인용 수 1

한 줄 요약

이 연구는 시나리오 기반 프롬프팅과 정성적 분석을 활용하여, 채팅GPT가 농장, 기술 매장, 지하철 등 세 가지 시뮬레이션된 상황에서 선주민을 어떻게 인식하는지 평가한다. 연구 결과, 모델이 외국인화 및 전통적 고정관념(예: '고귀한 야수', '마법의 샤먼')을 포함한 미묘하고 체계적인 편견을 반복적으로 재생산하고 있음을 확인했으며, 백인 개인과 비교해 통계적으로 유의미한 레이블링 차이(p < 0.001)를 보였지만, 명백한 인종차별은 거의 없었다.

ABSTRACT

Large Language Models (LLMs), like ChatGPT, are fundamentally tools trained on vast data, reflecting diverse societal impressions. This paper aims to investigate LLMs' self-perceived bias concerning indigeneity when simulating scenarios of indigenous people performing various roles. Through generating and analyzing multiple scenarios, this work offers a unique perspective on how technology perceives and potentially amplifies societal biases related to indigeneity in social computing. The findings offer insights into the broader implications of indigeneity in critical computing.

연구 동기 및 목표

• 대규모 언어모델이 다양한 사회적 상황에서 선주민을 어떻게 인식하는지 조사하기 위해.
• 사회적 권력 관계와 식민지 유산을 반영하는 AI 생성된 선주민 묘사에 내재된 미묘하고 체계적인 편견을 밝혀내기 위해.
• LLM의 자가 평가된 레이블과 인간이 평가한 편견 간의 일치도를 평가하여 모델의 자기 반성적 정확도를 분석하기 위해.
• 에테이컬 AI 설계에 기여하기 위해, AI 시스템이 선주민에 대한 배제적 표현을 어떻게 내재하고 확산시키는지 폭 드러내기 위해.
• 대표성 피해를 방지하기 위해 AI 개발 과정에서 선주민의 목소리, 절차, 감독을 중심에 두는 것을 주장하기 위해.

제안 방법

• 농장, 기술 매장, 지하철 환경 등 세 가지의 구체적인 가상 시나리오를 설계하였다.
• 프롬프트 엔지니어링을 활용해 각 시나리오에서 선주민과 백인/유럽계 미국인 개인을 다양한 역할로 설정하고, LLM의 반응을 다수 생성하였다.
• 생성된 텍스트에서 반복적인 언어 패턴, 묘사어, 고정관념적 토프를 식별하기 위해 정성적 주제 분석을 수행하였다.
• 독립표본 t-검정을 사용해 시나리오 전반에 걸쳐 선주민과 백인 개인 간의 레이블링 차이를 통계적으로 분석하였다.
• LLM 생성 레이블과 인간 애너테이터가 평가한 레이블 간의 상관도를 측정하기 위해 코HEN의 카파 통계를 사용하였다.
• 시나리오 기반 평가를 새로운 방법으로 활용하여, AI 시스템의 위치성(positionality)을 탐구하고, 사회기술적 시스템 내에서 선주민의 관점을 시뮬레이션하였다.

실험 결과

연구 질문

• RQ1 채팅GPT는 비선주민 개인과 비교해 다양한 사회적 상황에서 선주민을 어떻게 묘사하는가?
• RQ2 LLM은 '고귀한 야수'나 '마법의 샤먼' 같은 식민지 시대 고정관념을 어느 정도 재생산하거나 도전하는가?
• RQ3 LLM이 자가 평가한 편견 레이블과 인간이 애너테이션한 고정관념어 사용 간 일치도는 얼마나 되는가?
• RQ4 AI 시스템이 사회계산 환경에서 선주민과 관련된 미묘하고 체계적인 편견을 내재하고 확산시키는 데 어떤 함의를 지닌다?
• RQ5 시나리오 기반 프롬프팅은 LLM 내의 위치성과 편견을 탐지하고 분석하는 데 효과적인 방법이 될 수 있는가?

주요 결과

• 모든 시나리오에서 선주민과 백인 개인 간에 통계적으로 유의미한 레이블링 차이를 보였으며, 농장과 지하철 시나리오에서는 p < 0.001, 매장 시나리오에서는 p < 0.01이었다.
• 농장 시나리오에서 선주민 묘사의 80%는 '전통적인' 또는 '조상의 식물과 연결된' 등의 방식으로 외국화되거나 고정관념적으로 묘사되었고, 반면 백인 개인은 중립적으로 묘사되었다.
• 기술 매장 시나리오에서 선주민 묘사의 26%는 '유니크한 부족 무늬가 있는 손으로 짠 담요' 같은 문화 제품과 연결되었고, 반면 백인 개인은 일반적인 거래로 묘사되었다.
• 지하철 시나리오에서 선주민 묘사의 93%는 '밝은 의식 복식으로 장식된' 등의 외국화된 묘사어를 포함했고, 반면 백인 개인은 평범한 묘사로 표현되었다.
• 코헨의 카파 점수는 LLM 생성 레이블과 인간 평가 간에 상당한에서 거의 완벽한 일치(k = 0.766–0.966)를 보였으며, 이는 모델이 인간의 편견 인식을 밀도 있게 모방하고 있음을 시사한다.
• 일부 자가비판 능력이 있음에도 불구하고, LLM은 편견을 자동으로 수정하지 않았으며, 이는 윤리적 AI 개발에 내재된 자가 평가 기반의 신뢰성에 한계가 있음을 드러냈다.