[論文レビュー] The Silicon Ceiling: Auditing GPT's Race and Gender Biases in Hiring

L Armstrong, Abbey Liu+2 more|arXiv (Cornell University)|May 7, 2024

Names, Identity, and Discrimination Research被引用数 4

ひとこと要約

本研究は、GPT-3.5が採用プロセスにおける人種および性別に関するバイアスを、2つの実験（レジュメ評価およびレジュメ生成）を通じて監査した。GPT-3.5は、男性優勢の職種では女性を低く評価し、アジア系およびヒスパニック系の名前には移民関連の兆候を割り当てるという、ステレオタイプ的なバイアスを示した。これは、既存の社会的不平等を継続的に生み出す「シリコン・シーリング」を示しており、自動化された採用において顕著である。

ABSTRACT

Large language models (LLMs) are increasingly being introduced in workplace settings, with the goals of improving efficiency and fairness. However, concerns have arisen regarding these models' potential to reflect or exacerbate social biases and stereotypes. This study explores the potential impact of LLMs on hiring practices. To do so, we conduct an AI audit of race and gender biases in one commonly-used LLM, OpenAI's GPT-3.5, taking inspiration from the history of traditional offline resume audits. We conduct two studies using names with varied race and gender connotations: resume assessment (Study 1) and resume generation (Study 2). In Study 1, we ask GPT to score resumes with 32 different names (4 names for each combination of the 2 gender and 4 racial groups) and two anonymous options across 10 occupations and 3 evaluation tasks (overall rating, willingness to interview, and hireability). We find that the model reflects some biases based on stereotypes. In Study 2, we prompt GPT to create resumes (10 for each name) for fictitious job candidates. When generating resumes, GPT reveals underlying biases; women's resumes had occupations with less experience, while Asian and Hispanic resumes had immigrant markers, such as non-native English and non-U.S. education and work experiences. Our findings contribute to a growing body of literature on LLM biases, particularly in workplace contexts.

研究の動機と目的

• GPT-3.5が自動化された採用プロセスにおいて人種的・性別的バイアスを反映または強化しているかどうかを調査すること。
• 名前を用いた手がかり（人種および性別の兆候を示すもの）が、GPT-3.5のレジュメ品質、面接希望度、採用可能性への評価にどのように影響するかを検討すること。
• 異なる名前を持つ架空の候職者に対してGPT-3.5が生成するレジュメの内容を分析することで、潜在的なバイアスを解明すること。
• 特にニューヨーク市条例144のような新規規制の下で適用可能な、雇用文脈におけるアルゴリズム的公平性監査のためのメソドロジカル洞察を提供すること。
• 客観性を装ったAIシステムが構造的不平等を強化するリスクを強調し、この現象を表す用語「シリコン・シーリング」を提唱すること。

提案手法

• 32の名前（性別2つと人種グループ4つの組み合わせ、各4名）を用いたレジュメ評価研究（研究1）を実施。各名前に対して10の職業別レジュメを用意した。
• 各レジュメについて、GPT-3.5に全体的評価、面接希望度、採用希望度の3つのスコアを付与させた。1レジュメあたり50回の試行を実施し、トークン生成のばらつきを補正した。
• レジュメ生成研究（研究2）では、GPT-3.5に各名前に対して10個の独自のレジュメを生成させた。この際、2つの匿名オプションも含めた。
• 手動で、作成されたレジュメを独自のコードブックを用いてコード化。評価項目には、勤務経験期間、職位の上位性、教育背景、および移民関連の兆候（例：非ネイティブ英語、米国外の学位）を含めた。
• 統計的分析を用いて、性別および人種グループごとのスコアおよびレジュメ特徴の差を比較。特に評価および内容における格差に注目した。
• 従来のレジュメ監査研究の原則を大規模言語モデルの文脈に適用。LLMの確率的かつ自己回帰的特性に適合するように、実験設計を調整した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 米国における採用設定下で、GPT-3.5は人種、性別、あるいはそれらの交差に基づいてバイアスを示すか？
• RQ2 RQ2: 米国における設定下で、GPT-3.5が自らの採用関連コンテンツを生成する際、人種、性別、あるいはそれらの交差に基づいて潜在的なバイアスを示すか？
• RQ3 RQ3: GPT-3.5のレジュメ生成パターンは、人種および性別に関する既存の社会的ステレオタイプをどのように反映または強化するか？
• RQ4 RQ4: GPT-3.5の評価および生成コンテンツは、男性優勢または白人優勢の分野において、労働市場における構造的不平等をどの程度反映しているか？

主な発見

• レジュメ評価研究において、GPT-3.5は男性優勢の職種に応募する女性に対して有意に低いスコアを付与しており、性別に基づく評価バイアスが確認された。
• GPT-3.5は、有色人種と関連する名前を持つ候職者に対して、全体的なスコアが低く、面接や採用の希望度も低下していた。特に白人優勢の職種において顕著だった。
• レジュメ生成において、GPT-3.5は同じ名前と職種を持つ男性と比較して、女性のレジュメに低い職位の上位性と短い勤務経験期間を生成した。
• アジア系およびヒスパニック系の名前を持つ候職者のレジュメには、非ネイティブ英語の兆候や米国外の教育・職業経験が頻繁に含まれており、移民ステレオタイプを強化した。
• ブラック系およびホワイト系の名前は、移民関連の兆候と関連づけられる可能性が低く、GPT-3.5の出力において国籍および英語の流暢さが人種に基づいてコード化されていることが示された。
• 評価と生成の両結果の組み合わせにより、GPT-3.5が既存の社会的バイアスを再現・内蔵しており、AI駆動の採用において、弱い立場のグループの機会を制限する『シリコン・シーリング』を形成していることが明らかになった。