[논문 리뷰] Discovery of Bias and Strategic Behavior in Crowdsourced Performance Assessment

Yifei Huang, Matt Shum외 2명|arXiv (Cornell University)|2019. 08. 05.

Technology Adoption and User Behaviour인용 수 4

한 줄 요약

이 논문은 중국의 전문 서비스 기업에서 수집한 실제 데이터셋을 바탕으로, 공동 평가 방식의 성과 평가에서 편향과 전략적 행동을 탐지하는 방법을 제안한다. 이는 승진 기준을 충족한 고성과자들을 저평가하고, 승진 기준을 충족하지 못한 이들을 과도하게 높게 평가하는 '차별적 친절함'이라는 현상을 규명하며, 성과 기반 결정보다 공정성이 훼손되는 두 가지 상호연관된 편향을 드러낸다.

ABSTRACT

With the industry trend of shifting from a traditional hierarchical approach to flatter management structure, crowdsourced performance assessment gained mainstream popularity. One fundamental challenge of crowdsourced performance assessment is the risks that personal interest can introduce distortions of facts, especially when the system is used to determine merit pay or promotion. In this paper, we developed a method to identify bias and strategic behavior in crowdsourced performance assessment, using a rich dataset collected from a professional service firm in China. We find a pattern of "discriminatory generosity" on the part of peer evaluation, where raters downgrade their peer coworkers who have passed objective promotion requirements while overrating their peer coworkers who have not yet passed. This introduces two types of biases: the first aimed against more competent competitors, and the other favoring less eligible peers which can serve as a mask of the first bias. This paper also aims to bring angles of fairness-aware data mining to talent and management computing. Historical decision records, such as performance ratings, often contain subjective judgment which is prone to bias and strategic behavior. For practitioners of predictive talent analytics, it is important to investigate potential bias and strategic behavior underlying historical decision records.

연구 동기 및 목표

• 전문 서비스 기업 내 공동 평가 방식의 성과 평가에서 편향과 전략적 행동의 존재를 조사하는 것.
• 주관적인 동료 평가가 승진 및 성과급과 같은 고위험 결정에서 객관적인 성과 지표를 어떻게 왜곡할 수 있는지 분석하는 것.
• 성과 평가 기록에서의 체계적 왜곡을 탐지하기 위한 데이터 기반 방법을 개발하는 것.
• 역사적 결정보류 기록에서 숨겨진 패턴을 드러내어 정당성 인식 데이터 마이닝 및 인재 및 관리 컴퓨팅 분야의 공정성 향상에 기여하는 것.
• 예측 기반 인재 분석 분야의 실무자들이 평가 시스템의 공정성을 감사하고 개선하기 위한 실질적인 통찰을 제공하는 것.

제안 방법

• 중국의 전문 서비스 기업에서 수집한 풍부한 실제 데이터셋을 분석한다.
• 통계 모델링을 활용해 동료 평가에서 객관적인 성과 기준을 벗어난 패턴을 탐지한다.
• 승진 기준을 충족한 피평가자들을 체계적으로 낮게 평가하는 '차별적 친절함'의 체계적 패턴을 식별한다.
• 공정성 인식 데이터 마이닝 기법을 적용해 보다 우호적으로 보이는 평가에 의해 가려진 숨겨진 편향을 드러낸다.
• 동료 평가를 객관적인 성과 지표와 비교하여, 자격이 없는 대상자들에게 평가를 과도하게 높이는 전략적 행동을 분리한다.
• 회귀 분석과 패턴 분석을 활용해 진정한 성과 평가와 사회적 동기를 기반으로 한 왜곡을 구분한다.

실험 결과

연구 질문

• RQ1 동료 평가자가 객관적인 성과 기준에서 얼마나 체계적으로 벗어나 평가를 내리는가?
• RQ2 동료가 객관적인 승진 요건을 충족했는지 여부에 따라 평가가 어떻게 달라지는가?
• RQ3 특히 승진 자격과 관련하여 어떤 전략적 행동 패턴이 동료 평가에서 드러나는가?
• RQ4 선호 또는 경쟁적 대상 지정과 같은 편향이 공동 평가 방식의 성과 평가 공정성에 어떤 영향을 미치는가?
• RQ5 예측 기반 인재 분석에서 데이터 기반 방법을 활용해 역사적 성과 기록에 숨겨진 편향을 탐지할 수 있는가?

주요 결과

• 승진 기준을 충족한 피평가자들이 체계적으로 낮게 평가되는 '차별적 친절함'의 명확한 패턴이 관찰되었다.
• 승진 자격이 없는 피평가자들을 과도하게 높게 평가하는 경향이 있었으며, 이는 경쟁적 위협을 가리기 위한 전략적 과도한 평가로 보인다.
• 이러한 행동은 두 가지 다른 편향을 초래한다: 하나는 고성과자들을 대상으로 하는 것이며, 다른 하나는 덜 자격이 있는 동료들을 과도하게 평가함으로써 첫 번째 행동을 가리키는 것이다.
• 왜곡은 무작위가 아니라 승진 자격과 관련된 일관된 패턴을 따르며, 이는 전략적 조작을 시사한다.
• 역사적 성과 기록에는 인재 관리 결정의 공정성을 해칠 수 있는 체계적 편향이 포함되어 있다.
• 이러한 발견들은 예측 기반 인재 분석에서 편향 탐지 메커니즘의 필요성을 강조한다.