[论文解读] Discovery of Bias and Strategic Behavior in Crowdsourced Performance Assessment

Yifei Huang, Matt Shum+2 more|arXiv (Cornell University)|Aug 5, 2019

Technology Adoption and User Behaviour被引用 4

一句话总结

本文提出一种方法，利用来自中国一家专业服务公司的实际数据集，检测众包绩效评估中的偏见和策略性行为。研究发现‘歧视性慷慨’现象——即同事对已满足晋升标准的高绩效者评分偏低，而对未达标者评分偏高——揭示了两种相互关联的偏见，这些偏见扭曲了基于绩效的决策公平性。

ABSTRACT

With the industry trend of shifting from a traditional hierarchical approach to flatter management structure, crowdsourced performance assessment gained mainstream popularity. One fundamental challenge of crowdsourced performance assessment is the risks that personal interest can introduce distortions of facts, especially when the system is used to determine merit pay or promotion. In this paper, we developed a method to identify bias and strategic behavior in crowdsourced performance assessment, using a rich dataset collected from a professional service firm in China. We find a pattern of "discriminatory generosity" on the part of peer evaluation, where raters downgrade their peer coworkers who have passed objective promotion requirements while overrating their peer coworkers who have not yet passed. This introduces two types of biases: the first aimed against more competent competitors, and the other favoring less eligible peers which can serve as a mask of the first bias. This paper also aims to bring angles of fairness-aware data mining to talent and management computing. Historical decision records, such as performance ratings, often contain subjective judgment which is prone to bias and strategic behavior. For practitioners of predictive talent analytics, it is important to investigate potential bias and strategic behavior underlying historical decision records.

研究动机与目标

• 调查专业服务公司内部众包绩效评估中是否存在偏见和策略性行为。
• 分析主观同行评分如何扭曲客观绩效指标，尤其是在晋升和绩效奖金等高风险决策中。
• 开发一种数据驱动方法，用于检测绩效评估记录中的系统性扭曲。
• 通过揭示历史决策记录中的隐藏模式，为公平意识的数据挖掘在人才与管理计算领域做出贡献。
• 为预测性人才分析从业者提供可操作的见解，以审计和改进评估系统的公平性。

提出的方法

• 分析来自中国一家专业服务公司的丰富真实世界同行绩效评估数据集。
• 使用统计建模方法，检测同行评分在客观绩效阈值附近的偏离模式。
• 识别出一种系统性‘歧视性慷慨’模式，即评分者对已满足晋升标准的同行评分偏低。
• 应用公平意识的数据挖掘技术，揭示被看似慷慨评分所掩盖的隐藏偏见。
• 将同行评分与客观绩效指标进行对比，以识别针对不符合资格者进行的评分膨胀等策略性行为。
• 采用回归分析与模式识别方法，区分真实绩效评估与受社会动机影响的扭曲行为。

实验结果

研究问题

• RQ1 同行评分者在多大程度上系统性偏离客观绩效标准进行评估？
• RQ2 当同行已满足客观晋升要求时，其评分如何变化？
• RQ3 在同行评估中，特别是与晋升资格相关时，哪些策略性行为模式浮现出来？
• RQ4 偏袒或竞争性针对等偏见如何影响众包绩效评估的公平性？
• RQ5 能否通过人才分析中的数据驱动方法检测历史绩效记录中的隐藏偏见？

主要发现

• 观察到明显的‘歧视性慷慨’模式，即已满足客观晋升标准的同行被系统性地评分偏低。
• 评分者倾向于高估尚未通过客观晋升要求的同行，表明存在通过评分膨胀来掩盖竞争威胁的策略性行为。
• 这种行为引入了两种不同的偏见：一种针对高绩效个体，另一种则偏向资质不足的同行，作为前者的掩护。
• 这种扭曲并非随机，而是与晋升资格密切相关，表明存在策略性操纵。
• 历史绩效记录中存在系统性偏见，可能损害人才管理决策的公平性。
• 研究结果强调了在预测性人才分析中建立偏见检测机制的必要性，以确保结果的公平性。