[論文レビュー] The Unequal Opportunities of Large Language Models: Revealing Demographic Bias through Job Recommendations

Abel Salinas, Parth Shah+3 more|arXiv (Cornell University)|Aug 3, 2023

Artificial Intelligence in Healthcare and EducationMedicine参考文献 29被引用数 3

ひとこと要約

本論文は、大規模言語モデル（LLMs）における文化的・性的属性に関するバイアスを検出・比較するためのジョブレコメンデーションベースの手法を提案している。ChatGPT や LLaMA において顕著な交差的バイアスが明らかになった。特に、メキシコ系労働者に対して低賃金職を優遇し、女性に対して事務職を優先的に推薦している。研究では、プロンプトに性別や国籍を含めるだけで、推薦結果が著しく歪むことが示され、実世界のAI応用におけるバイアス低減の必要性が浮き彫りになった。

ABSTRACT

Large Language Models (LLMs) have seen widespread deployment in various real-world applications. Understanding these biases is crucial to comprehend the potential downstream consequences when using LLMs to make decisions, particularly for historically disadvantaged groups. In this work, we propose a simple method for analyzing and comparing demographic bias in LLMs, through the lens of job recommendations. We demonstrate the effectiveness of our method by measuring intersectional biases within ChatGPT and LLaMA, two cutting-edge LLMs. Our experiments primarily focus on uncovering gender identity and nationality bias; however, our method can be extended to examine biases associated with any intersection of demographic identities. We identify distinct biases in both models toward various demographic identities, such as both models consistently suggesting low-paying jobs for Mexican workers or preferring to recommend secretarial roles to women. Our study highlights the importance of measuring the bias of LLMs in downstream applications to understand the potential for harm and inequitable outcomes.

研究の動機と目的

• 大規模言語モデル（LLMs）であるChatGPT や LLaMA が、性別や国籍といった文化的属性に基づいてどのようにバイアスのあるジョブレコメンデーションを生成するかを調査すること。
• 現実世界の意思決定を模倣するためのプロキシとしてジョブレコメンデーションタスクを用い、交差的バイアスを測定するための手法を開発・検証すること。
• LLMsにおけるバイアスが、特に米国労働市場における格差と一致するか、あるいはそれを強化するかを評価すること。
• 性別や国籍の記述が含まれるプロンプトのバリエーションが、ジョブレコメンデーションの分布や給与予測に与える影響を評価すること。
• プロンプトに文化的属性が含まれることで、予期しない形でバイアスが導入されたり悪化したりする可能性を特定し、LLMsの責任ある展開を提言すること。

提案手法

• 著者らは、文化的属性（例：「メキシコ出身の女性」「日本出身の男性」）を体系的に変化させることで、LLMsからのジョブレコメンデーションを引き出す制御されたプロンプトフレームワークを設計した。
• ChatGPT と LLaMA から、複数の文化的アイデンティティ、特に性別と国籍の交差的アイデンティティに注目して、ジョブレコメンデーションと関連給与予測を収集・分析した。
• 文化的属性の有無にかかわらず、プロンプトテンプレートと中立的ベースラインプロンプトの間で比較することで、文化的属性の記述が出力分布に与える影響を分離した。
• 統計的分析を用いて、文化的属性に応じた職業種別や給与水準における顕著な乖離を検出。特に高給与職における代表が不足している点に注目した。
• 米国労働統計局（U.S. Bureau of Labor Statistics）などの歴史的労働市場データと照らし合わせることで、研究結果の文脈を整理した。
• 本手法は、性別や国籍にとどまらず、他の文化的要因に対しても拡張可能であり、LLMsにおけるより広範なバイアス分析を可能にする。

Figure 1 . Geographical Distribution of 20 Nationalities Recommended by ChatGPT, to be analyzed within our study. Regional preferences are demonstrated in the countries selected by ChatGPT.

実験結果

リサーチクエスチョン

• RQ1 ChatGPT や LLaMA が、性別や国籍といった文化的属性を含むプロンプトを受けた場合、ジョブレコメンデーションにどのような差が生じるか？
• RQ2 性別や国籍の記述が、推奨される職業の分布や関連給与にどの程度の影響を与えるか？
• RQ3 LLMsが生成するジョブレコメンデーションにおけるバイアスは、特にメキシコ系アメリカ人と女性に特徴的な現実の労働市場格差を反映しているのか、あるいはそれを強化しているのか？
• RQ4 プロンプトに文化的属性を含めることで、特にLLaMAのようなモデルにおいて、ジョブレコメンデーションの実用性や現実性にどのような影響が生じるか？
• RQ5 ジョブレコメンデーションタスクを公平性評価のプロキシとして用いることで、LLMsにおけるバイアス検出の標準化手法を開発可能か？

主な発見

• ChatGPT は614件のジョブレコメンデーションを出力したが、分野が限定的であった。一方、LLaMA は6,106件のユニークな職業を提示したが、中には「アラビアの王女」のような現実的でないものも含まれていた。
• 両モデルとも、メキシコ系と特定された人物に対して、常に低賃金職を推薦しており、メキシコ系アメリカ人に対する歴史的差別を反映している。
• 女性は両モデルで事務職の推薦が著しく多く、性別に基づく職業的ステレオタイプが継続的に存在していることを示している。
• 文化的属性を記述しないベースラインプロンプトは、国籍別プロンプトと比較して外れ値の結果を出力しており、文化的なキーワードが出力分布に顕著な影響を与えていることが示された。
• LLaMA は国別に全体的なバイアスが少なかったが、ChatGPT よりもよりランダムで現実的でないレコメンデーションを示しており、出力の整合性に欠けていた。
• 本研究は、文化的属性を含むわずかなプロンプトの変更ですら、著しく異なるバイアスの強いレコメンデーションを引き起こす可能性があることを確認した。これは、意図しないバイアスの拡大リスクを強調している。

(a) ChatGPT Job Clusters