[논문 리뷰] ChatGPT Perpetuates Gender Bias in Machine Translation and Ignores Non-Gendered Pronouns: Findings across Bengali and Five other Low-Resource Languages

Sourojit Ghosh, Aylin Caliskan|arXiv (Cornell University)|2023. 05. 17.

Artificial Intelligence in Healthcare and Education인용 수 12

한 줄 요약

이 논문은 ChatGPT가 영어와 벵골어 및 다섯 가지 다른 자원이 낮은 언어 간 번역에서 성편향을 보여주고, 종종 성별 대명사를 기본으로 하고 비성별 대명사를 무시하는 경향이 있음을 드러낸다.

ABSTRACT

In this multicultural age, language translation is one of the most performed tasks, and it is becoming increasingly AI-moderated and automated. As a novel AI system, ChatGPT claims to be proficient in such translation tasks and in this paper, we put that claim to the test. Specifically, we examine ChatGPT's accuracy in translating between English and languages that exclusively use gender-neutral pronouns. We center this study around Bengali, the 7$^{th}$ most spoken language globally, but also generalize our findings across five other languages: Farsi, Malay, Tagalog, Thai, and Turkish. We find that ChatGPT perpetuates gender defaults and stereotypes assigned to certain occupations (e.g. man = doctor, woman = nurse) or actions (e.g. woman = cook, man = go to work), as it converts gender-neutral pronouns in languages to `he' or `she'. We also observe ChatGPT completely failing to translate the English gender-neutral pronoun `they' into equivalent gender-neutral pronouns in other languages, as it produces translations that are incoherent and incorrect. While it does respect and provide appropriately gender-marked versions of Bengali words when prompted with gender information in English, ChatGPT appears to confer a higher respect to men than to women in the same occupation. We conclude that ChatGPT exhibits the same gender biases which have been demonstrated for tools like Google Translate or MS Translator, as we provide recommendations for a human centered approach for future designers of AIs that perform language translation to better accommodate such low-resource languages.

연구 동기 및 목표

• 영어와 벵골어 및 성별 중립 대명사를 사용하는 다섯 가지 자원이 낮은 다른 언어들 간의 ChatGPT 번역 정확도를 평가한다.
• 직업과 행위의 번역에서 ChatGPT가 성별 기본값과 고정관념을 강요하는지 평가한다.
• 대상 언어들 전반에서 they와 같은 성별 중립 대명사를 ChatGPT가 어떻게 처리하는지 조사한다.
• AI 번역기에서 자원이 낮은 언어들을 더 잘 수용하기 위한 사람 중심 설계에 대한 권고안을 제시한다.

제안 방법

• ChatGPT를 사용하여 영어에서 벵골어 및 다섯 개의 추가 자원이 낮은 언어(Farsi, Malay, Tagalog, Thai, Turkish)로의 번역을 분석한다.
• 성별 중립 대명사가 gendered 형태(he/she)로 번역되거나 비일관하게 번역된 사례를 식별한다.
• 영어에 성별 정보가 제공될 때와 비성별 맥락일 때의 성별 표기가 있는 번역을 비교한다.
• 같은 직업에서 남성과 여성에 대한 번역상의 상대적 대우를 평가한다.
• 발견을 종합하여 다국어 AI 번역 도구에 대한 설계 권고안을 제시한다.

실험 결과

연구 질문

• RQ1 벵골어 및 다른 연구 대상 언어에서 성별 중립 대명사를 성별 대명사로 번역하는가?
• RQ2 모델이 직업 또는 행위 관련 번역에서 성별 고정관념을 확산시키는가?
• RQ3 벵골어와 다섯 개의 자원이 낮은 언어 전반에서 they와 같은 성별 중립 대명사를 ChatGPT가 어떻게 처리하는가?
• RQ4 자원이 낮은 언어용 AI 번역 시스템에서 성별 편향을 최소화할 수 있는 설계 권고안은 무엇인가?

주요 결과

• ChatGPT는 벵골어 및 연구 대상 다른 언어에 대한 번역에서 성별 중립 대명사를 종종 he 또는 she로 변환한다.
• 모델은 번역에서 성별 기본 고정관념(예: 특정 직업이 특정 성별과 연관된 경우)을 확산한다.
• ChatGPT는 영어의 성별 중립 대명사 like they를 다른 언어의 동등한 성별 중립 형태로 번역하지 못하여 비일관적이거나 잘못된 번역을 낳는다.
• 영어의 성별 정보를 제시하면 ChatGPT는 벵골어의 성별 표기 대등어를 제공하지만 같은 직업에서 남성을 여성보다 더 중시하는 경향이 있다.
• 전반적으로 관찰된 편향은 다른 번역 도구들에 대한 이전 연구 결과와 일치하며, AI 번역에서 인간 중심 설계의 필요성을 강조한다.