[論文レビュー] ChatGPT Perpetuates Gender Bias in Machine Translation and Ignores Non-Gendered Pronouns: Findings across Bengali and Five other Low-Resource Languages

Sourojit Ghosh, Aylin Caliskan|arXiv (Cornell University)|May 17, 2023

Artificial Intelligence in Healthcare and Education被引用数 12

ひとこと要約

この論文は、ChatGPTが英語とベンガル語および他の5つの低資源言語間の翻訳で性別バイアスを示すことを明らかにし、しばしば性別の代名詞をデフォルトにし、非性別代名詞を無視する。

ABSTRACT

In this multicultural age, language translation is one of the most performed tasks, and it is becoming increasingly AI-moderated and automated. As a novel AI system, ChatGPT claims to be proficient in such translation tasks and in this paper, we put that claim to the test. Specifically, we examine ChatGPT's accuracy in translating between English and languages that exclusively use gender-neutral pronouns. We center this study around Bengali, the 7$^{th}$ most spoken language globally, but also generalize our findings across five other languages: Farsi, Malay, Tagalog, Thai, and Turkish. We find that ChatGPT perpetuates gender defaults and stereotypes assigned to certain occupations (e.g. man = doctor, woman = nurse) or actions (e.g. woman = cook, man = go to work), as it converts gender-neutral pronouns in languages to `he' or `she'. We also observe ChatGPT completely failing to translate the English gender-neutral pronoun `they' into equivalent gender-neutral pronouns in other languages, as it produces translations that are incoherent and incorrect. While it does respect and provide appropriately gender-marked versions of Bengali words when prompted with gender information in English, ChatGPT appears to confer a higher respect to men than to women in the same occupation. We conclude that ChatGPT exhibits the same gender biases which have been demonstrated for tools like Google Translate or MS Translator, as we provide recommendations for a human centered approach for future designers of AIs that perform language translation to better accommodate such low-resource languages.

研究の動機と目的

• 性別ニュートラルな代名詞を含む英語とベンガル語および他の5つの低資源言語間の翻訳精度を評価する。
• 職業や動作の翻訳においてChatGPTが性別デフォルトやステレオタイプを強制しているかを評価する。
• 対象言語全体でtheyのような性別ニュートラル代名詞の扱いを調べる。
• AI翻訳者が低資源言語により適合するよう、ヒューマンセントリック設計の推奨を提供する。

提案手法

• ChatGPTを用いて、英語からベンガル語および追加の5つの低資源言語（ペルシャ語、マレー語、タガログ語、タイ語、トルコ語）への翻訳を分析する。
• 性別ニュートラル代名詞が性別形態（彼/彼女）へ翻訳される例や、文脈的に不自然に翻訳される例を特定する。
• 英語で性別情報が提供された場合と非性別文脈の場合の、性別表現を含む翻訳を比較する。
• 同一職業における男性と女性の扱いの相対的差を翻訳内で評価する。
• Findingsを統合し、マルチリンガルAI翻訳ツールの設計推奨を提案する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTはベンガル語および他の研究対象言語で、性別ニュートラル代名詞を性別が明示された代名詞へ翻訳しますか？
• RQ2 モデルは職業や動作に関連する翻訳で性別ステレオタイプを伝播しますか？
• RQ3 ChatGPTはベンガル語と5つの低資源言語全体でtheyのような性別ニュートラル代名詞をどのように扱いますか？
• RQ4 低資源言語のAI翻訳システムにおける性別バイアスを最小化する設計推奨は何ですか？

主な発見

• ChatGPTは、ベンガル語および他の対象言語の翻訳で、性別ニュートラル代名詞をしばしばheまたはsheに変換する。
• モデルは翻訳で性別デフォルトのステレオタイプを伝播する（例：特定の職業が特定の性別に結びつく）。
• ChatGPTは、theyのような英語の性別ニュートラル代名詞を他の言語の同等の性別ニュートラル形に翻訳できず、整合性のないまたは不正確な翻訳を生む。
• 英語の性別情報を含む指示を受けると、ChatGPTは性別を示すベンガル語の対応語を提供するが、同じ職業において男性を女性より重視しているように見える。
• 全体として、観察されたバイアスは他の翻訳ツールの以前の調査結果と一致しており、AI翻訳におけるヒューマンセントリック設計の必要性を強調している。