[論文レビュー] Auditing the Use of Language Models to Guide Hiring Decisions

Johann D. Gaebler, Sharad Goel+2 more|arXiv (Cornell University)|Apr 3, 2024

Multi-Agent Systems and Negotiation被引用数 4

ひとこと要約

本稿では、人間のバイアスを検出するために一般的に用いられる照合実験（correspondence experiments）を、大規模言語モデル（LLMs）の採用における人種的・性別的バイアスを監査するために提案している。実際のK-12教員採用応募書類において、名前と代名詞を体系的に変化させることで、複数のLLMsにおいて女性および人種的マイノリティに有利な中程度の格差が生じていることが明らかになった。これは、明示的な識別子が削除されても、人種的・性別的属性の推定が継続することを示唆している。

ABSTRACT

Regulatory efforts to protect against algorithmic bias have taken on increased urgency with rapid advances in large language models (LLMs), which are machine learning models that can achieve performance rivaling human experts on a wide array of tasks. A key theme of these initiatives is algorithmic "auditing," but current regulations -- as well as the scientific literature -- provide little guidance on how to conduct these assessments. Here we propose and investigate one approach for auditing algorithms: correspondence experiments, a widely applied tool for detecting bias in human judgements. In the employment context, correspondence experiments aim to measure the extent to which race and gender impact decisions by experimentally manipulating elements of submitted application materials that suggest an applicant's demographic traits, such as their listed name. We apply this method to audit candidate assessments produced by several state-of-the-art LLMs, using a novel corpus of applications to K-12 teaching positions in a large public school district. We find evidence of moderate race and gender disparities, a pattern largely robust to varying the types of application material input to the models, as well as the framing of the task to the LLMs. We conclude by discussing some important limitations of correspondence experiments for auditing algorithms.

研究の動機と目的

• 大規模言語モデル（LLMs）がK-12教員採用の評価において人種的・性別的格差を生じるかどうかを調査すること。
• 照合実験がLLMベースの人事システムにおけるアルゴリズム的バイアスを監査する手法として有効かどうかを評価すること。
• 入力資料の変化、モデルの指示、匿名化技術の違いに対して、観察された格差がどの程度頑健であるかをテストすること。
• LLMsが匿名化された応募資料から、人種的・性別的属性を推定できるかどうかを検討し、『無知による公平性（fairness through unawareness）』のアプローチが妥当でないことを明らかにすること。
• 実証的根拠に基づいた実用的手法を提供することで、規制・政策立案を支援すること。

提案手法

• テキサス州の公立小中学校教員採用応募書類の新しいコーパスを構築した。このコーパスには履歴書と動画面接の回答が含まれる。
• 最先端のオープンソースおよびプロプライエタリなLLMsを用い、応募資料に基づいて採用推薦を生成した。
• 照合実験を実施し、応募者の名前と代名詞を系統的に変化させることで、異なる人種的・性別的アイデンティティを模擬した。
• モデルの指示を変更し、履歴書のみを入力し、学区の記述を白人主体の学区に置き換えることで、頑健性のチェックを実施した。
• 名前と代名詞を入力から完全に削除したコントロール条件を設け、『公平性 through 無知』の有効性をテストした。
• 人種的・性別的グループごとの採用推薦の差異、特にスコア差に注目して、モデル出力を分析した。

実験結果

リサーチクエスチョン

• RQ1 最先端のLLMsは、K-12教員採用の推薦において測定可能な人種的・性別的格差を示すか？
• RQ2 これらの格差は、入力資料の種別（例：履歴書のみ vs. 全ての資料）やモデルの指示の変更に対してどの程度頑健か？
• RQ3 LLMsが匿名化された応募資料から、人種的・性別的属性をどの程度推定できるか。これは『無知による公平性』のアプローチを損なう要因となるか？
• RQ4 学区の文脈が西バージニア州の白人主体の学区に置き換えられた場合、モデル出力はどのように変化するか？
• RQ5 照合実験は、雇用環境におけるLLMsのバイアスを監査するための信頼できる手法として機能するか？

主な発見

• 本研究では、LLMが生成する採用推薦において、女性および人種的マイノリティが白人男性よりも高いスコアを獲得する中程度の格差が確認された。
• これらの格差は、モデルの指示、入力タイプ（例：履歴書のみ）、学区の文脈の変化に対しても頑健であった。
• 名前と代名詞を入力から完全に削除しても、LLMsは依然として差別の的評価を生成しており、これは暗黙の手がかりを通じた人種的・性別的属性の推定が行われていることを示している。
• 匿名化された入力からもLLMsが人種的属性を推定できるという事実は、『無知による公平性』がバイアスを防止するには不十分であることを示唆している。
• 西バージニア州の白人主体の学区に置き換えても格差が継続したため、地域の人口構成が原因で格差が生じているわけではないことが示された。
• 結果として、照合実験はLLMsにおけるアルゴリズム的バイアスを検出可能であり、規制監査の実用的ツールとして有効であることが示された。