[論文レビュー] Measuring Gender and Racial Biases in Large Language Models

Jiafu An, Difang Huang+2 more|arXiv (Cornell University)|Mar 22, 2024

Computational and Text Analysis Methods被引用数 5

ひとこと要約

論文は、OpenAIのGPTが ~361,000 件の履歴書をランダム化された社会的アイデンティティで評価する際のジェンダーと人種バイアスを評価し、女性候補者のスコアが高く、黒人男性候補者のスコアが低いことを発見し、閾値での採用差が1–2ポイント程度になる可能性がある。

ABSTRACT

In traditional decision making processes, social biases of human decision makers can lead to unequal economic outcomes for underrepresented social groups, such as women, racial or ethnic minorities. Recently, the increasing popularity of Large language model based artificial intelligence suggests a potential transition from human to AI based decision making. How would this impact the distributional outcomes across social groups? Here we investigate the gender and racial biases of OpenAIs GPT, a widely used LLM, in a high stakes decision making setting, specifically assessing entry level job candidates from diverse social groups. Instructing GPT to score approximately 361000 resumes with randomized social identities, we find that the LLM awards higher assessment scores for female candidates with similar work experience, education, and skills, while lower scores for black male candidates with comparable qualifications. These biases may result in a 1 or 2 percentage point difference in hiring probabilities for otherwise similar candidates at a certain threshold and are consistent across various job positions and subsamples. Meanwhile, we also find stronger pro female and weaker anti black male patterns in democratic states. Our results demonstrate that this LLM based AI system has the potential to mitigate the gender bias, but it may not necessarily cure the racial bias. Further research is needed to comprehend the root causes of these outcomes and develop strategies to minimize the remaining biases in AI systems. As AI based decision making tools are increasingly employed across diverse domains, our findings underscore the necessity of understanding and addressing the potential unequal outcomes to ensure equitable outcomes across social groups.

研究の動機と目的

• 人間の社会的バイアスがAIベースの意思決定システムへどのように移転する可能性があるかを理解する動機づけを提供する。
• 高リスク採用における候補者評価に対する広く使われているLLM（GPT）の影響を、性別と人種の観点から評価する。
• LLMベースのスコアリングの下で、少数派グループの潜在的な分布結果（例：採用確率）を定量化する。

提案手法

• 約361,000件の履歴書をランダム化された社会的アイデンティティでスコアリングするようGPTに指示する。
• 経験、教育、技能を統制しつつ、性別（女性vs男性）および人種（ブラックvs非ブラック）間のスコアリング差を分析する。
• さまざまな職種およびサブサンプルでのバイアスの一貫性を評価する。
• バイアスパターンの州レベルの変動（民主党系州 vs その他の州）を特定する。

実験結果

リサーチクエスチョン

• RQ1 資格が一定の場合に、言語モデルは性別で候補者を異なるスコアリングをするのか。
• RQ2 資格が一定の場合に、言語モデルは人種（Black vs その他）で候補者を異なるスコアリングをするのか。
• RQ3 これらのバイアスが意思決定閾値での採用確率の差にどのように変換されるのか。
• RQ4 職種、サブサンプル、州などの政策関連文脈で、バイアスパターンは一貫しているのか。

主な発見

• GPTは、同程度の資格を持つ女性候補者に対してより高いスコアを付与する。
• GPTは、同程度の資格を持つ黒人男性候補者に対してより低いスコアを付与する。
• 閾値での採用確率の差が1–2ポイント程度になる可能性がある。
• 民主党系の州では女性有利の効果が強く、黒人男性に対する反ブラックの効果は弱いというパターンがある。
• さまざまな職種およびサブサンプルでもパターンは一貫している。
• この研究は潜在的な緩和機会を強調するが、人種バイアスは依然として残る可能性がある。