[論文レビュー] Gender Bias in Large Language Models across Multiple Languages

Jinman Zhao, Yitian Ding+3 more|arXiv (Cornell University)|Mar 1, 2024

Gender Studies in Language被引用数 9

ひとこと要約

この論文は、複数の言語にわたるLLM出力の性別バイアスを評価する3つの定量的測定を導入し、研究言語で有意なバイアスを報告している。GPT-3/4 系列モデルを用いて、記述語選択、性別化された役割予測、対話トピックのバイアスを分析する。

ABSTRACT

With the growing deployment of large language models (LLMs) across various applications, assessing the influence of gender biases embedded in LLMs becomes crucial. The topic of gender bias within the realm of natural language processing (NLP) has gained considerable focus, particularly in the context of English. Nonetheless, the investigation of gender bias in languages other than English is still relatively under-explored and insufficiently analyzed. In this work, We examine gender bias in LLMs-generated outputs for different languages. We use three measurements: 1) gender bias in selecting descriptive words given the gender-related context. 2) gender bias in selecting gender-related pronouns (she/he) given the descriptive words. 3) gender bias in the topics of LLM-generated dialogues. We investigate the outputs of the GPT series of LLMs in various languages using our three measurement methods. Our findings revealed significant gender biases across all the languages we examined.

研究の動機と目的

• 多様な指示と文化的文脈により、英語以外の環境でも性別バイアスを研究する必要性を動機づける。
• 語彙、代名詞と性別、会話トピックのバイアスを捉える3つの補完的な測定を導入する。
• 複数の言語にまたがるLLM出力に測定を適用してバイアスのパターンを比較し、デバイアリングの取り組みに資する。

提案手法

• 3つのバイアス測定を定義する: (1) 記述語選択のバイアス (P(A|G)); (2) 性別化された役割選択のバイアス (P(G|A)); (3) 対話トピックのバイアス (性別ペア対話間の感情/分岐)。
• 頻度から経験的推定として不均等影響(DI)スコアを計算する: DI_A(a) = (C_f(a)/N_f) / (C_m(a)/N_m) および DI_G(a') = (C_f(a')/N_f) / (C_m(a')/N_m)。
• 男性/女性の文脈、形容詞、対話を引き出すプロンプトを用いてLLM出力を取得し、語の共起、代名詞予測、トピック分布を分析する。
• GPT-3/4系モデルを用いて複数言語で評価を行う（補足として付録にLLaMAの追加結果を報告する）。
• 英語の記述語リストを目的言語に翻訳し、適用可能な場合は性別化された形容詞形を取り扱う。

実験結果

リサーチクエスチョン

• RQ1 LLMsは言語を超えて、男性の説明と女性の説明に対して異なる記述語の関連を示しますか？
• RQ2 記述語は回答における性別代名詞（he vs she）の予測確率に影響しますか？
• RQ3 LLMが生成する対話は、言語と性別ペアリング間でトピックや感情の性別に基づく分岐を示しますか？
• RQ4 異なる語学類型と文化的文脈を持つ言語間で性別バイアスのパターンはどのように異なりますか？

主な発見

• 調査対象の全言語とモデルにおいて、記述語と性別の共起に性別バイアスが現れる。
• 記述プロンプトに基づく予測される性別役割にもバイアスが観察され、形容詞文脈における性別的期待を示している。
• 対話トピックは、性別ペアリング間で感情とトピック分布の分岐を示し、対話内容における性別バイアスを反映している。
• バイアスのパターンは言語と記述タイプによって異なり、言語対応のデバイアス除去と評価手法の必要性を際立たせている。
• 本研究は性別以外の社会的次元（例: 人種、民族）にも一般化できるフレームワークを提供する。