[논문 리뷰] Unintended Selection: Persistent Qualification Rate Disparities and Interventions

Reilly Raab, Yang Liu|arXiv (Cornell University)|2021. 11. 01.

Complex Systems and Time Series Analysis인용 수 6

한 줄 요약

이 논문은 베이즈 최적, 군집 독립 분류기 하에서 군집 수준의 자격률 격차가 초기 분포가 동일한 상태에서조차 지속되는 이유를 분석하기 위해 복제자 방정식을 사용한 동적 모델을 제안한다. 불균형한 초기 자격률이 모방 동역학으로 인해 지속적인 격차를 초래할 수 있음을 보여주며, 실시간 군집 성과에 기반해 분류기 정책을 조정함으로써 이러한 격차를 영구적으로 제거할 수 있는 피드백 제어 메커니즘을 제안한다.

ABSTRACT

Realistically -- and equitably -- modeling the dynamics of group-level disparities in machine learning remains an open problem. In particular, we desire models that do not suppose inherent differences between artificial groups of people -- but rather endogenize disparities by appeal to unequal initial conditions of insular subpopulations. In this paper, agents each have a real-valued feature $X$ (e.g., credit score) informed by a "true" binary label $Y$ representing qualification (e.g., for a loan). Each agent alternately (1) receives a binary classification label $\\hat{Y}$ (e.g., loan approval) from a Bayes-optimal machine learning classifier observing $X$ and (2) may update their qualification $Y$ by imitating successful strategies (e.g., seek a raise) within an isolated group $G$ of agents to which they belong. We consider the disparity of qualification rates $\\Pr(Y=1)$ between different groups and how this disparity changes subject to a sequence of Bayes-optimal classifiers repeatedly retrained on the global population. We model the evolving qualification rates of each subpopulation (group) using the replicator equation, which derives from a class of imitation processes. We show that differences in qualification rates between subpopulations can persist indefinitely for a set of non-trivial equilibrium states due to uniformed classifier deployments, even when groups are identical in all aspects except initial qualification densities. We next simulate the effects of commonly proposed fairness interventions on this dynamical system along with a new feedback control mechanism capable of permanently eliminating group-level qualification rate disparities. We conclude by discussing the limitations of our model and findings and by outlining potential future work.

연구 동기 및 목표

• 군집 간 구조적 차이가 없음에도 불구하고 베이즈 최적, 군집 독립 기계학습 분류기 하에서 군집 수준의 자격률 격차가 어떻게 지속되는지 모델링하기.
• 분류기 배치가 고립된 하위집단 내에서 인구 수준의 전략 수용 및 자격 동역학에 미치는 장기적 영향을 조사하기.
• 정착 상태 행동을 변화시킬 수 있는 동적 제어 정책으로서의 공정성 간섭 조치의 평가.
• 실시간 군집 성과 지표에 반응하여 지속적인 격차를 수시로 교정하는 피드백 제어 메커니즘 제안.
• 장기적인 잠재 변수의 동등성(자격률)이 동적 정책 피드백 하에서 현재 공정성 목표와 충돌할 수 있음을 보여줌으로써, 정의론적 공정성 정의에 도전하기.

제안 방법

• 각 군집을 실수형 특성 $X$와 자격 여부(예: 대출 자격)를 나타내는 진정한 이진 레이블 $Y$를 가진 고립된 하위집단으로 모델링하며, $\Pr(X|Y)$ 는 군집 간 독립이다.
• 분류기의 성능을 높이기 위해 $X$ 기반으로 이진 예측 $\hat{Y}$ 를 할당하는 베이즈 최적 분류기를 사용하며, 이는 기업의 자격 전략 수용에 대한 동기를 유도한다.
• 복제자 방정식을 적용하여 각 군집 내 전략 수용의 진화를 모델링하며, 상대적 성공에 기반한 모방 동역학을 포착한다.
• 관측된 자격률 격차에 반응하여 분류기 행동을 수정하는 피드백 제어 메커니즘을 도입하며, 이는 격차 $\delta(g,g+1)$ 에 비례하는 편항 항을 사용한다.
• 다양한 분류기 유틸리티 행렬 $U$ 와 보상 구조 $V$ 를 기반으로 시스템 동역학을 시뮬레이션하고, Coate와 Loury(1993) 및 Zhang 등(2020)의 기존 모델과 비교한다.
• 도함수 $\frac{\partial}{\partial\phi}(W_1 - W_0)$ 를 사용해 평형 상태를 분석하며, 유틸리티 및 보상 함수의 구조로 인해 비영일 수 있는 비균형 평형 상태가 존재할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 초기 자격률만 다를 뿐 그 외에는 동일한 군집에서, 베이즈 최적, 군집 독립 분류기 하에서도 지속적인 군집 수준의 자격률 격차가 발생할 수 있는가?
• RQ2 복제자 방정식으로 모델링된 기반 전략 수용 동역학(모방 기반)이 자격 격차의 장기적 지속성에 어떻게 기여하는가?
• RQ3 특히 피드백 기반 제어 메커니즘을 통한 공정성 간섭 조치가 이러한 격차를 영구적으로 제거할 수 있는 정도는 어느 정도인가?
• RQ4 동적 시스템에서 현시 공정성(예: 동일한 위양성/위음성 비율)과 장기적 공정성(자격률의 渐近적 동등성) 간의 관계는 어떠한가?
• RQ5 분류기 유틸리티 함수와 보상 구조의 변화가 자격률 격차의 안정성 및 수렴에 어떤 영향을 미치는가?

주요 결과

• 초기 자격 밀도만 다를 뿐 그 외에는 동일한 군집에서조차 복제자 동역학에 기반한 전략 모방으로 인해, 베이즈 최적, 군집 독립 분류기 하에서도 자격률 격차가 영구적으로 존재할 수 있다.
• 유틸리티 및 보상 함수의 구조로 인해, 분류기가 최적이고 군집 간 독립임에도 불구하고 비균형 평형 상태가 존재할 수 있으며, 이는 격차가 안정적으로 유지됨을 의미한다.
• 현재 격차 $\delta(g,g+1)$ 에 비례하는 편항 항을 적용함으로써, $\frac{\partial}{\partial\phi}(W_1 - W_0)$ 의 부호에 따라 교정 방향이 결정되는 피드백 제어 메커니즘이 제안되며, 이는 격차를 영구적으로 제거할 수 있다.
• 피드백 메커니즘은 모든 군집에서 $\Pr(Y=1)$ 가 동일한 전역 평형 상태로 시스템을 안정화시키며, 이는 장기적 공정성을 효과적으로 보장한다.
• 시뮬레이션 결과, 표준 공정성 간섭 조치(예: 손실 함수 조정)는 동적 시스템에서는 격차를 제거하지 못할 수 있으나, 피드백 기반 제어는 이를 성공적으로 교정할 수 있음을 보여준다.
• 모델은 근본적인 갈등을 드러낸다: 현시 공정성 기준(예: 동일한 위양성 비율)이 장기적 공정성(동일한 자격률)을 오히려 저해할 수 있으며, 이는 단기적 공정성과 장기적 공정성 목표 간의 충돌을 강조한다.