[논문 리뷰] On Statistical Discrimination as a Failure of Social Learning: A Multi-Armed Bandit Approach

Junpei Komiyama, Shunya Noda|arXiv (Cornell University)|2020. 10. 02.

Auction Theory and Applications참고 문헌 66인용 수 9

한 줄 요약

이 논문은 다수자와 소수자 노동자 그룹 간의 능력에 대한 소음이 많고 그룹에 의존하는 신호를 통해 기업이 노동자의 능력을 학습하는 방식을 다항 보상 밴딧 프레임워크로 모델링하여, 고용에서의 통계적 차별이 편향된 학습의 실패로 발생함을 분석한다. 이는 소수자에 대한 데이터 부족으로 인해 라이즈페어 고용 방식이 지속적으로 소수자 노동자의 능력을 과소평가하게 되며, 이에 대해 하이브리드 보조금 메커니즘과 루니 규칙을 통해 일시적인 정책적 조치를 통해 이 과소평가를 줄이고 공정성을 확보할 수 있음을 제안한다. 이는 편향 없이 이성적인 고용 환경에서도 소수자 노동자에 대한 과소평가가 지속되며, 이는 작은 표본 크기에서 발생하는 추정 오차 때문임을 보여준다.

ABSTRACT

We analyze statistical discrimination in hiring markets using a multi-armed bandit model. Myopic firms face workers arriving with heterogeneous observable characteristics. The association between the worker's skill and characteristics is unknown ex ante; thus, firms need to learn it. Laissez-faire causes perpetual underestimation: minority workers are rarely hired, and therefore, the underestimation tends to persist. Even a marginal imbalance in the population ratio frequently results in perpetual underestimation. We propose two policy solutions: a novel subsidy rule (the hybrid mechanism) and the Rooney Rule. Our results indicate that temporary affirmative actions effectively alleviate discrimination stemming from insufficient data.

연구 동기 및 목표

• 통계적 차별이 편견 때문이 아니라 소수자 집단에 대한 데이터 부족으로 인한 편향된 학습에서 비롯됨을 분석하는 것.
• 비차별적인 합리적인 고용 환경에서도 소수자 노동자들이 작은 표본 크기에서 발생하는 추정 오차로 인해 체계적으로 과소평가됨을 보여주는 것.
• 특히 하이브리드 메커니즘과 루니 규칙을 포함한 정책적 개입의 효과를 평가하여 이 과소평가와 복지 손실을 줄이는 것.
• 일시적이고 정밀하게 대상이 지정된 정의의 조치가 학습 편향을 바로잡음으로써 공정성(등가된 기회)과 효율성(낮은 회귀)을 동시에 달성할 수 있음을 보여주는 것.
• 다양한 능력 격차와 인구 비율에 따라 라이즈페어, UCB, 하이브리드 등의 결정 규칙이 어떻게 성과를 내는지 비교하는 것.

제안 방법

• 기업이 관찰 가능한 특성에 기반해 노동자의 능력에 대한 소음이 많은 신호를 관찰하는 방식으로, 두 노동자 그룹(다수자 및 소수자)이 있는 선형 연장적 밴딧으로 고용 과정을 모델링한다.
• 균형 잡힌 학습을 위한 기준으로 상한 신뢰도(UCB) 알고리즘을 사용하며, 이는 그룹 간 능력 격차와 관계없이 항상 Õ(√N)의 회귀를 보장한다.
• 라이즈페어와 UCB 전략을 조합한 새로운 하이브리드 메커니즘을 제안하며, 그룹 성과의 추정치에 기반해 동적으로 조정하여 회귀를 최소화하고 공정성을 확보한다.
• 편향된 신념으로 인해 고능력 소수자 노동자를 놓치는 비용을 정량화하기 위해 복지 지표로 회귀를 사용한다.
• 다양한 모집단 비율과 능력 분포를 가진 여러 시행을 통해 장기적인 결과를 평가하기 위해 모델을 시뮬레이션한다.
• 하이브리드 메커니즘을 구현하기 위해 인덱스 기반 보조금 규칙을 도입하여 학습 과정에서 소수자 노동자가 체계적으로 간과되지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 합리적이고 비차별적인 고용 시스템에서 소수자 노동자에 대한 지속적인 과소평가가 발생하는 조건은 무엇인가?
• RQ2 모집단 비율의 불균형은 라이즈페어 고용 방식 하에서 지속적인 과소평가의 가능성을 어떻게 영향을 미치는가?
• RQ3 라이즈페어와 UCB 전략을 조합한 하이브리드 결정 규칙이 단독으로 사용되는 것보다 더 낮은 회귀와 더 나은 공정성을 달성할 수 있는가?
• RQ4 일시적인 정의의 조치(예: 하이브리드 메커니즘과 루니 규칙)는 복지 손실을 얼마나 줄이고 편향된 학습을 바로잡을 수 있는가?
• RQ5 소수자 노동자의 평균 능력이 다수자보다 낮을 경우에도 UCB 알고리즘이 낮은 회귀를 유지하는가?

주요 결과

• 라이즈페어 고용 방식은 소수자 노동자가 평균적으로 동일하거나 더 높은 능력을 지녔음에도 불구하고, 데이터 부족과 추정 오차로 인해 지속적으로 과소평가됨을 보여준다.
• UCB 결정 규칙의 회귀는 그룹 간 능력 격차와 관계없이 항상 Õ(√N)이며, 이는 비대칭 환경에서도 강건함을 입증한다.
• 비대칭 케이스에서 이론적 보장이 없음에도 불구하고, 하이브리드 메커니즘은 다양한 능력 격차 범위에서 라이즈페어와 UCB를 모두 초월하는 낮은 회귀를 일관되게 달성한다.
• 하이브리드 메커니즘은 최소한의 보조금 예산으로 낮은 회귀를 달성하여, 공정성을 유지하는 고용 정책의 비용 효율적인 구현 가능성을 시사한다.
• 50%의 모집단 불균형 조건에서도 하이브리드 메커니즘이 낮은 회귀를 유지하고 등가된 기회를 보장함으로써 민족적 편향에 대한 강건성을 보여준다.
• 시뮬레이션 결과, 지속적인 과소평가의 장기적 복지 비용이 상당히 축적되며, 특히 라이즈페어 방식에서 두드러짐을 확인하여 개입의 필요성을 강조한다.