[논문 리뷰] Fast Threshold Tests for Detecting Discrimination

Emma Pierson, Sam Corbett‐Davies외 1명|arXiv (Cornell University)|2017. 02. 27.

Statistical Methods and Inference참고 문헌 26인용 수 16

한 줄 요약

이 논문은 [0,1]에서의 연속 분포인 분류 분포—계산적으로 효율적인 분포의 가족—를 도입하여 차별 검출을 위한 임계값 테스트에서 베이지안 추론을 가속화한다. 임계값 테스트 모델에서 베타 분포를 분류 분포로 대체함으로써 저자들은 추론 속도를 75배 이상 높여 계산 시간을 수 시간에서 수 분으로 줄였으며, 이는 270만 건의 뉴욕시 경찰 정류 기록과 2,200만 건의 국가 수준의 차량 정류 데이터베이스를 포함한 대규모 데이터셋의 스케일러블 분석을 가능하게 한다.

ABSTRACT

Threshold tests have recently been proposed as a useful method for detecting bias in lending, hiring, and policing decisions. For example, in the case of credit extensions, these tests aim to estimate the bar for granting loans to white and minority applicants, with a higher inferred threshold for minorities indicative of discrimination. This technique, however, requires fitting a complex Bayesian latent variable model for which inference is often computationally challenging. Here we develop a method for fitting threshold tests that is two orders of magnitude faster than the existing approach, reducing computation from hours to minutes. To achieve these performance gains, we introduce and analyze a flexible family of probability distributions on the interval [0, 1] -- which we call discriminant distributions -- that is computationally efficient to work with. We demonstrate our technique by analyzing 2.7 million police stops of pedestrians in New York City.

연구 동기 및 목표

• 차별 검출을 위한 임계값 테스트에서 베이지안 잠재변수 모델을 적합하는 데 있어 계산적으로 비가능한 문제를 해결하기 위해.
• 임계값 테스트에서 빠른 추론을 가능하게 하는 [0,1]에서의 탄력적이고 계산적으로 효율적인 분포 가족을 개발하기 위해.
• 270만 건의 뉴욕시 경찰 정류 기록과 2,200만 건의 국가 수준의 차량 정류 데이터셋과 같은 대규모 데이터셋에 임계값 테스트를 스케일링하기 위해.
• 예를 들어 보행자 정류 결정과 같이 부분적으로 관측된 결정에 대해 임계값 테스트를 확장하기 위해.
• 계산 자원이 제한된 정책 분석가들이도 임계값 테스트를 쉽게 접근할 수 있도록 하기 위해.

제안 방법

• 임계값 테스트에서 베타 분포의 대체로 사용 가능한 로짓-노멀 혼합 분포의 부분집합인 분류 분포를 도입한다.
• 누적분포함수(CDF)와 조건부 기대값이 해석적으로 다루기 쉬우며 계산적으로 효율적인 방식으로 분류 분포를 설계한다.
• 해밀턴 몽테카를로(HMC)에서 조건부 베타 분포의 고비용 기울기 평가를 분류 분포를 사용한 더 빠른 연산으로 대체한다.
• 베이지안 계층 모델링을 통해 관측된 결정(예: 수색 결과)과 부분적으로 관측된 결정(예: 보행자 정류 결정)에 모두 수정된 임계값 테스트를 적용한다.
• 분류 분포를 사용한 HMC 추론을 통해 전체 베이지안 사후 추론을 달성하며, 변분 근사보다 더 나은 모델 적합도를 향상시킨다.
• 다양한 보행자 인구 구성에 대한 가정을 변화시키는 등 강건성 검증을 통해 성능을 검증한다.

실험 결과

연구 질문

• RQ1 실제로 [0,1]에서의 새로운 연속 분포 가족이 차별 검출을 위한 임계값 테스트에서 베이지안 추론을 크게 가속화할 수 있는가?
• RQ2 임계값 테스트 모델에서 베타 분포를 분류 분포로 대체함으로써 계산 시간을 줄이면서도 모델 적합도가 유지되거나 향상되는가?
• RQ3 예를 들어 보행자 정류 결정과 같이 부분적으로 관측된 결정에 대해서도 임계값 테스트를 확장할 수 있는가?
• RQ4 보행자 인구 구성에 대한 가정 변화에 대해 유추된 임계값은 얼마나 안정적인가?
• RQ5 가속화된 방법은 이전에는 계산 제약으로 인해 분석이 불가능했던 국가 수준의 데이터셋에 적용될 수 있는가?

주요 결과

• 분류 분포 모델은 원래의 베타 기반 모델 대비 추론 시간을 77배 감소시켜 정류 모델의 경우 적합 시간을 15,943초에서 208초로 단축시켰다.
• 속도 향상 덕분에 강건성 검증을 약 100회 실행할 수 있었으며, 원래 방법으로는 순차적으로 약 두 달이 걸릴 작업을 새 방법을 사용해 하루가 채 안 되어 수행할 수 있었다.
• 샘플링 효율성에서 75배의 속도 향상을 달성했으며, 유효 표본당 84배 빠른 샘플링과 37배 빠른 통합 단계를 기록했다.
• 강건성 검증 결과, 보행자 인구 구성에 대한 다양한 가정에도 불구하고 흑인과 히스패닉계 보행자에 대한 유추된 임계값은 백인 보행자보다 일관되게 낮게 유지되었으며, 흑인의 경우 0.8–1.2% 수준, 히스패닉계는 1.8–2.1% 수준이었고, 백인은 5.7–6.1% 수준이었다.
• 분류 분포를 사용한 HMC는 베타 분포를 사용한 변분 추론보다 유의미하게 더 나은 모델 적합도를 보였으며, 정류율의 경우 RMSE가 4배 낮았고(0.2% 대비 0.9%), 히트율의 경우 2배 낮았고(0.7% 대비 1.3%).
• 이 방법을 통해 기존에는 계산 제약으로 인해 주 단위 데이터 분할이 필요했던 2,200만 건의 차량 정류 기록에 대한 국가 수준의 단일 모델을 30분 내로 적합할 수 있었다.