[論文レビュー] What You See Is What You Get? The Impact of Representation Criteria on Human Bias in Hiring

Andi Peng, Besmira Nushi+4 more|arXiv (Cornell University)|Sep 8, 2019

Auction Theory and Applications被引用数 9

ひとこと要約

本研究は、候補者スレートにおける固定された割合の性別分布という表現基準が、採用意思決定における人間の性別バイアスにどのように影響するかを調査する。アマゾンのMechanical Turkを用いた制御実験を通じて、世界の分布が偏っている職業では性別表現のバランスがバイアスを軽減することが判明したが、人間の好みが継続的に作用する分野ではその効果が得られず、意思決定者の性別やタスクの複雑さが結果に影響を与えることが示された。

ABSTRACT

Although systematic biases in decision-making are widely documented, the ways in which they emerge from different sources is less understood. We present a controlled experimental platform to study gender bias in hiring by decoupling the effect of world distribution (the gender breakdown of candidates in a specific profession) from bias in human decision-making. We explore the effectiveness of \ extit{representation criteria}, fixed proportional display of candidates, as an intervention strategy for mitigation of gender bias by conducting experiments measuring human decision-makers' rankings for who they would recommend as potential hires. Experiments across professions with varying gender proportions show that balancing gender representation in candidate slates can correct biases for some professions where the world distribution is skewed, although doing so has no impact on other professions where human persistent preferences are at play. We show that the gender of the decision-maker, complexity of the decision-making task and over- and under-representation of genders in the candidate slate can all impact the final decision. By decoupling sources of bias, we can better isolate strategies for bias mitigation in human-in-the-loop systems.

研究の動機と目的

• 世界の分布やアルゴリズム的バイアスとは独立して、採用における人間の意思決定バイアスの影響を分離・測定すること。
• 候補者スレートにおける固定された割合の性別表示という表現基準が、採用意思決定における人間の性別バイアスを軽減できるかどうかを評価すること。
• 意思決定者の性別、タスクの複雑さ、過小・過大表現の有無といった要因が採用結果に与える影響を理解すること。
• 世界、アルゴリズム的、人間的要因を分離することで、ハイブリッド型人間を含む採用システムにおけるバイアスの原因を解明すること。
• 表現基準が有効または不十分な状況を特定することで、より公平な採用システムを設計するための実証的証拠を提供すること。

提案手法

• 多様な職業を対象に、アマゾンのMechanical Turkを用いて大規模な制御実験を実施し、採用意思決定を模擬した。
• 同一の資格を持つ候補者プロフィールを生成し、性別と代名詞をランダム化したが、各スレート内で固定された性別割合を維持した。
• 表現基準を適用し、候補者スレートに事前に定められた性別分布（例：50-50、3-97）を確保することで、表現の影響を分離した。
• 参加者に8人中上位4名をランク付けするよう依頼し、推薦タスクを模擬した。
• 介入なしでバイアスを評価するため、現実の世界の性別分布と、語彙埋め込みに基づいて訓練されたAIモデルを用いたベースラインと比較した。
• 意思決定者の性別と職業ごとにデータを分析し、意思決定に影響を及える混同要因を評価した。

実験結果

リサーチクエスチョン

• RQ1 候補者スレートにおける性別表現のバランスが、採用意思決定における人間の性別バイアスを軽減するか？
• RQ2 世界の性別分布が異なる職業において、表現基準の有効性はどのように変化するか？
• RQ3 表現基準がバイアスを軽減できない職業では、マイノリティ性別の過大表現が結果を改善するか？
• RQ4 意思決定者の個人的特徴、特に性別が採用推薦にどのように影響するか？
• RQ5 タスクの複雑さや候補者スレートの構成（例：過小・過大表現）が、採用における人間の意思決定にどのように影響するか？

主な発見

• 世界の分布が著しく偏っている職業（例：ソフトウェア工学、法曹）では、表現基準が性別バイアスを顕著に軽減する。
• 人の好みが継続的に作用する職業（例：給湯設備工事、建設）では、スレート内の性別分布がバランスしていても、表現基準はバイアスを是正できない。
• 意思決定者の性別が結果に影響を与える：特定の職業では女性の意思決定者が男性の意思決定者よりもバイアスが少ないが、その影響は職業によって異なる。
• タスクの複雑さや候補者スレートにおける過小・過大表現の度合いが、採用意思決定を歪める要因となり、過小表現はバイアスを拡大させる。
• 女性の過大表現（例：男性優勢職種で50％の女性）が一貫して公平性の向上に寄与するとは限らず、特に深く根付いた好みが存在する分野では効果が限定的である。
• 本研究は、表現基準が万能ではないことを示しており、その有効性は世界の分布、人間の好み、意思決定者の特性の相互作用に依存する。