[논문 리뷰] Mitigating Included- and Omitted-Variable Bias in Estimates of Disparate Impact

Jongbin Jung, Sam Corbett‐Davies외 3명|arXiv (Cornell University)|2018. 09. 15.

Nuclear and radioactivity studies인용 수 16

한 줄 요약

이 논문은 차별적 영향 분석에서 생략된 변수 편향과 포함된 변수 편향을 모두 완화하기 위한 세 단계 방법인 위험 조정 회귀를 소개한다. 먼저 보호되는 특성 없이 위험을 추정한 후, 위험만을 조정하고, 마지막으로 위험 측정 오차에 대한 비모수적 민감도 분석을 수행한다. 이 방법은 기존의 회귀 분석이 불균형을 과소평가하고 있음을 드러내며, 예를 들어 유사한 위험 수준을 가진 흑인 및 히스패닉 보행자는 백인보다 훨씬 높은 비율로 검색을 당하는 것으로 나타났다.

ABSTRACT

Managers, employers, policymakers, and others often seek to understand whether decisions are biased against certain groups. One popular analytic strategy is to estimate disparities after adjusting for observed covariates, typically with a regression model. This approach, however, suffers from two key statistical challenges. First, omitted-variable bias can skew results if the model does not adjust for all relevant factors; second, and conversely, included-variable bias -- a lesser-known phenomenon -- can skew results if the set of covariates includes irrelevant factors. Here we introduce a new, three-step statistical method, which we call risk-adjusted regression, to address both concerns in settings where decision makers have clearly measurable objectives. In the first step, we use all available covariates to estimate the value, or inversely, the risk, of taking a certain action, such as approving a loan application or hiring a job candidate. Second, we measure disparities in decisions after adjusting for these risk estimates alone, mitigating the problem of included-variable bias. Finally, in the third step, we assess the sensitivity of results to potential mismeasurement of risk, addressing concerns about omitted-variable bias. To do so, we develop a novel, non-parametric sensitivity analysis that yields tight bounds on the true disparity in terms of the average gap between true and estimated risk -- a single interpretable parameter that facilitates credible estimates. We demonstrate this approach on a detailed dataset of 2.2 million police stops of pedestrians in New York City, and show that traditional statistical tests of discrimination can substantially underestimate the magnitude of disparities.

연구 동기 및 목표

• 그룹 소속과 관련된 측정되지 않은 혼동요인으로 인해 결과가 왜곡되는 생략된 변수 편향을 해결하기 위해, 차별적 영향 추정에서 발생하는 문제를 다루기 위해.
• 인종과 관련이 있는 무관한 변수나 대체 변수(예: 우편번호, 목소리 레지스터)가 포함되어 인종에 따라 차별 추정이 왜곡되는 포함된 변수 편향을 수정하기 위해.
• 보호되는 특성을 위험 모델링에서 제외하고 뿐만 아니라 추정된 위험만을 조정함으로써 진정한 불균형을 분리하는 방법을 개발하기 위해.
• 진정한 불균형을 진술된 위험과 실제 위험 간 평균 절대차이(ε) 기반으로 경계하는 비모수적 민감도 분석을 제공하기 위해.
• 기존의 회귀 방법이 실제 의사결정 시스템에서 차별적 영향의 크기를 상당히 과소평가할 수 있음을 입증하기 위해.

제안 방법

• 단계 1: 예측 모델을 통해 보호되는 특성(예: 인종, 성별)을 제외한 모든 가용 공변량을 사용하여 사전 위험(예: 무기 소지)을 추정한다.
• 단계 2: 결정 결과(예: 검색)를 추정된 위험만에 대해 회귀분석함으로써, 관련이 없는 공변량에서 비롯된 포함된 변수 편향을 제거한다.
• 단계 3: 진정한 불균형을 진술된 위험과 실제 위험 간 평균 절대차이(ε) 기반으로 경계하는 비모수적 민감도 분석을 수행한다. 이는 단일 해석 가능한 매개변수이다.
• 민감도 분석은 그룹 수준의 총 위험에 대한 그리드 서치와 정밀도 매개변수(γ = 0.01 p.p.)를 사용한 최대화 절차를 통해 차별적 영향의 날카로운 경계를 계산한다.
• 불확실성을 평가하기 위해 부트스트랩 기반 신뢰구간(N=1000)을 사용하며, 모델 캘리브레이션은 AUC(81%) 및 히트율 비교를 통해 검증된다.
• 민감도 분석은 CRAN에 있는 rar R 패키지로 구현되었으며, 모든 데이터와 코드는 재현 가능하도록 공개되어 있다.

실험 결과

연구 질문

• RQ1 실제 의사결정 시스템에서 생략된 변수 편향과 포함된 변수 편향으로 인해 기존의 회귀 모델이 차별적 영향을 얼마나 과소평가하는가?
• RQ2 보호되는 특성이 위험 모델링에서 제외되었을 때, 위험 조정 회귀는 차별적 영향 추정의 편향을 어떻게 줄일 수 있는가?
• RQ3 위험 측정 오차는 추정된 차별적 영향의 크기에 어떤 영향을 미치며, 이를 어떻게 정량적으로 경계할 수 있는가?
• RQ4 인종에 대한 보호 특성을 위험 모델링에 포함하지 않고도, 무기 소지 위험의 추정치만을 조정할 경우, 검색 비율의 불균형은 인종 집단 간 어떻게 달라지는가?
• RQ5 합리적인 수준의 위험 측정 오차가 존재할 때, 위험 조정 회귀의 결과는 얼마나 강인한가?

주요 결과

• 위험 조정 회귀 방법은 유사한 무기 소지 위험을 가진 흑인 및 히스패닉 보행자가 백인 보행자보다 상당히 높은 비율로 검색을 당하는 것으로 나타나, 상당한 차별적 영향이 있음을 시사한다.
• 모든 사전 검색 공변량을 포함한 기존의 '키친 싱크' 회귀 모델은 포함된 변수 편향으로 인해 진정한 불균형을 과소평가한다.
• 모델은 뉴욕시경찰청(NYPD) 데이터의 두 번째 반에 대해 AUC 81%를 기록하여 무기 소지에 대한 강력한 예측 성능를 보였다.
• 모델 예측 히트율은 인구 통계 집단과 경찰서 수준에서 실제 히트율과 밀접하게 일치하여 위험 모델의 양호한 캘리브레이션을 확인한다.
• 심각한 혼동(ε = 0.7 백분율 포인트) 조건 하에서도 추정된 차별적 영향은 여전히 상당히 크며, 위험 추정에 의해 설명되지 않은 불균형의 44%가 남아 있다.
• 민감도 분석은 다양한 현실적인 위험 측정 오차 수준에서 불균형이 지속됨을 보여주며, 95% 신뢰구간이 좁게 경계되어 있다.