[論文レビュー] Discovery of Bias and Strategic Behavior in Crowdsourced Performance Assessment

Yifei Huang, Matt Shum+2 more|arXiv (Cornell University)|Aug 5, 2019

Technology Adoption and User Behaviour被引用数 4

ひとこと要約

本論文は、中国のプロフェッショナルサービス企業から得た実世界のデータセットを用いて、クラウドソーシング型パフォーマンス評価におけるバイアスおよび戦略的行動を検出する手法を提案する。『差別的で思いやりのある評価』——つまり、昇進基準を満たしている高パフォーマンスの同僚を低く評価し、満たしていない者を高く評価する——という行動が特定され、評価の公平性を損なう2つの関連するバイアスが明らかになった。

ABSTRACT

With the industry trend of shifting from a traditional hierarchical approach to flatter management structure, crowdsourced performance assessment gained mainstream popularity. One fundamental challenge of crowdsourced performance assessment is the risks that personal interest can introduce distortions of facts, especially when the system is used to determine merit pay or promotion. In this paper, we developed a method to identify bias and strategic behavior in crowdsourced performance assessment, using a rich dataset collected from a professional service firm in China. We find a pattern of "discriminatory generosity" on the part of peer evaluation, where raters downgrade their peer coworkers who have passed objective promotion requirements while overrating their peer coworkers who have not yet passed. This introduces two types of biases: the first aimed against more competent competitors, and the other favoring less eligible peers which can serve as a mask of the first bias. This paper also aims to bring angles of fairness-aware data mining to talent and management computing. Historical decision records, such as performance ratings, often contain subjective judgment which is prone to bias and strategic behavior. For practitioners of predictive talent analytics, it is important to investigate potential bias and strategic behavior underlying historical decision records.

研究の動機と目的

• プロフェッショナルサービス企業におけるクラウドソーシング型パフォーマンス評価にバイアスおよび戦略的行動が存在するかを調査すること。
• 主観的な同僚評価が、昇進やマーキット報酬といった高利害な意思決定において、客観的なパフォーマンス指標を歪める仕組みを分析すること。
• パフォーマンス評価記録における系統的な歪みを検出するデータ駆動型手法を開発すること。
• 歴史的意思決定記録に隠れたパターンを解明することで、人材およびマネジメントコンピューティング分野における公平性を重視したデータマイニングに貢献すること。
• 予測型人材アナリティクス分野の実務家が評価システムの公平性を監査および改善できるように、実務的インサイトを提供すること。

提案手法

• 中国のプロフェッショナルサービス企業から得た豊富で現実的な同僚パフォーランス評価データセットを分析する。
• 統計的モデリングを用いて、同僚評価が客観的なパフォーマンスの閾値からどれほど逸脱しているかを検出する。
• 昇進基準をすでに満たしている被験者に対して、評価者が意図的に低い点数を付けるという『差別的で思いやりのある評価』の系統的パターンを同定する。
• 公平性を重視したデータマイニング手法を適用し、表面的には思いやりのある評価に見えるが、実際には隠れたバイアスを明らかにする。
• 同僚評価を客観的なパフォーマンス指標と比較することで、資格なしの被験者に対する評価の誇張といった戦略的行動を隔離する。
• 回帰分析およびパターン分析を用いて、真のパフォーマンス評価と社会的動機による歪みを区別する。

実験結果

リサーチクエスチョン

• RQ1 同僚評価者が、客観的なパフォーマンス基準からどれほど系統的に逸脱しているか。
• RQ2 同僚がすでに客観的な昇進要件を満たしているかどうかに応じて、評価がどのように変化するか。
• RQ3 特に昇進資格にかかわる関係で、どのような戦略的行動のパターンが同僚評価に現れるか。
• RQ4 好意的バイアスや競争的標的化といったバイアスが、クラウドソーシング型パフォーマンス評価の公平性にどのように影響するか。
• RQ5 予測型人材アナリティクス分野におけるデータ駆動型手法を用いて、歴史的パフォーマンス記録に隠れたバイアスを検出できるか。

主な発見

• 『差別的で思いやりのある評価』の明確なパターンが観察された。昇進基準をすでに満たしている被験者に対して、評価者が意図的に低い点数を付けた。
• 昇進要件を満たしていない被験者に対しては、評価者が高く評価する傾向があり、これは競争上の脅威を隠すための戦略的インフレーションであると考えられる。
• この行動は、2つの明確なバイアスを生じさせる。1つは高パフォーマンスの個人を標的にするもので、もう1つはその行動を隠すために、あまり資格のない同僚を高く評価するものである。
• 歪みはランダムではなく、昇進資格に結びつく一貫したパターンに従っており、戦略的操作の兆候である。
• 歴史的パフォーマンス記録には、人材マネジメント意思決定の公平性を損なう系統的なバイアスが含まれている。
• これらの発見は、予測型人材アナリティクスにおけるバイアス検出メカニズムの必要性を強調している。