[논문 리뷰] Omitted and Included Variable Bias in Tests for Disparate Impact

Jongbin Jung, Sam Corbett‐Davies외 2명|arXiv (Cornell University)|2018. 09. 15.

Advanced Causal Inference Techniques참고 문헌 30인용 수 6

한 줄 요약

이 논문은 차별 영향 테스트에서 생략된 변수 및 포함된 변수의 편향을 해결하기 위해 세 단계로 구성된 위험 조정 회귀 방법을 제안한다. 먼저 모든 공변량을 사용하여 결정 유틸리티를 추정한 후, 이 추정치만을 제어로 사용하여 불균형을 테스트하고, 마지막으로 측정되지 않은 혼란 요인에 대한 민감도를 평가함으로써, 차별 탐지에서의 편향을 감소시킨다. 이 방법은 220만 건의 뉴욕시 보행자 정지 데이터에 적용되었으며, 기존 방법은 오해를 낳는 결과를 도출한 반면, 이 방법은 보다 정확한 결과를 도출하였다.

ABSTRACT

Policymakers often seek to gauge discrimination against groups defined by race, gender, and other protected attributes. One popular strategy is to estimate disparities after controlling for observed covariates, typically with a regression model. This approach, however, suffers from two statistical challenges. First, omitted-variable bias can skew results if the model does not control for all relevant factors; second, and conversely, included-variable bias can skew results if the set of controls includes irrelevant factors. Here we introduce a simple three-step strategy---which we call risk-adjusted regression---that addresses both concerns in settings where decision makers have clearly measurable objectives. In the first step, we use all available covariates to estimate the utility of possible decisions. In the second step, we measure disparities after controlling for these utility estimates alone, mitigating the problem of included-variable bias. Finally, in the third step, we examine the sensitivity of results to unmeasured confounding, addressing concerns about omitted-variable bias. We demonstrate this method on a detailed dataset of 2.2 million police stops of pedestrians in New York City, and show that traditional statistical tests of discrimination can yield misleading results. We conclude by discussing implications of our statistical approach for questions of law and policy.

연구 동기 및 목표

• 측정되지 않은 혼란 요인이 차별 검출에 영향을 미치는 생략된 변수 편향을 해결하기 위해 통계적 검정에서의 차별 영향을 분석한다.
• 불필요하거나 중복되는 제어 변수가 그룹 간 격리 정도 추정치에 영향을 미치는 포함된 변수 편향을 수정한다.
• 정책 관련 설정에서 명확하게 측정 가능한 결정 목표와 일치하는 통계적 검정 방법을 개발한다.
• 측정되지 않은 혼란 요인에 대한 민감도 분석 프레임워크를 제공하여 차별 발견의 강건성을 향상시킨다.
• 220만 건의 뉴욕시 보행자 정지 데이터를 대규모 데이터셋으로 사용하여 이 방법의 실용적 영향을 입증한다.

제안 방법

• 단계 1: 모든 가용 공변량을 사용하여 결과를 예측하는 데 목표로 삼는 유틸리티를 추정하여 위험 점수를 형성한다.
• 단계 2: 그룹 소속을 독립변수로 하고 결과를 종속변수로 하여 회귀분석을 수행하며, 유일하게 추정된 위험 점수만을 제어함으로써 포함된 변수 편향을 줄인다.
• 단계 3: 측정되지 않은 혼란 요인에 대한 가정을 변화시켜 결과에 미치는 영향을 평가함으로써 민감도 분석을 수행하여 생략된 변수 편향을 다룬다.
• 이 방법은 전체 공변량 모델에서 유도된 위험 점수를 사용하여 공정성 테스트의 충분통계량으로 기능한다.
• 이 방법은 유틸리티 추정치를 제어한 후에 회귀 모델을 사용하여 격리 정도의 추정치를 산출함으로써, 유의미한 요소들만 결과에 영향을 미치도록 보장한다.
• 민감도 분석은 측정되지 않은 혼란 요인에 대한 가정을 변화시켜 발견의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 실제 정책 적용에서 생략된 변수 편향이 차별 영향에 대한 통계적 검정을 어떻게 왜곡하는가?
• RQ2 불필요하거나 중복되는 공변량을 포함시키면 차별 검출에 얼마나 많은 편향이 유입되는가?
• RQ3 위험 조정 회귀 프레임워크가 동시에 생략된 변수 편향과 포함된 변수 편향을 완화시킬 수 있는가?
• RQ4 대규모 경찰 활동 데이터에서 전통적인 차별 검정은 측정되지 않은 혼란 요인에 얼마나 민감한가?
• RQ5 결정 유틸리티와 측정되지 않은 혼란 요인을 고려한 방법을 사용할 경우 정책적 함의는 무엇인가?

주요 결과

• 경찰 데이터에서의 전통적 차별 검정은 제어되지 않은 혼란 요인과 불필요한 공변량으로 인해 오해의 소지가 있는 결과를 도출할 수 있다.
• 위험 조정 회귀 방법은 모든 공변량에서 유도된 유틸리티 추정치에 초점을 맞춤으로써 불필요한 제어의 영향을 최소화함으로써 편향을 감소시킨다.
• 민감도 분석은 측정되지 않은 혼란 요인이 차별 영향에 대한 결론을 크게 변화시킬 수 있음을 드러내며, 강건성 검증의 필요성을 강조한다.
• 뉴욕시 보행자 정지 데이터셋에서 이 방법은 기존의 회귀 접근 방식에서 가려졌거나 반전된 편향을 식별하였다.
• 이 방법은 통계 모델링을 결정 목표와 일치시킴으로써 법적 및 정책 평가에 더 타당한 프레임워크를 제공한다.
• 본 연구는 위험 조정 회귀가 고위험, 실질적인 설정에서 공정성 평가의 타당성을 향상시킨다는 것을 입증한다.