[논문 리뷰] Fairness Under Unawareness: Assessing Disparity When Protected Class Is Unobserved

Jiahao Chen, Nathan Kallus외 3명|arXiv (Cornell University)|2018. 11. 27.

Ethics and Social Impacts of AI참고 문헌 18인용 수 17

한 줄 요약

이 논문은 보호받는 집단 소속(예: 인종)이 관측되지 않을 경우 베이지안 향상된 성씨 지리정보화(BISG)와 같은 프록시 모델을 통해 추정될 때 공정성 평가에서 발생하는 편향을 분석한다. 임계값 기반의 추정은 상호 및 내지역적 편향의 복잡한 상호작용으로 인해 격차를 과대평가하는 경향이 있으며, 이는 단일 분석 가능한 편향 원인을 가진 가중치 추정기법을 제안함으로써 해결된다. 이 가중치 추정기법은 내지역 결과 변동성으로 인해 격차를 과소평가한다. 가중치 추정기법은 편향 분석을 단순화하고 임계값 선택에 대해 더 강건하다.

ABSTRACT

Assessing the fairness of a decision making system with respect to a protected class, such as gender or race, is challenging when class membership labels are unavailable. Probabilistic models for predicting the protected class based on observable proxies, such as surname and geolocation for race, are sometimes used to impute these missing labels for compliance assessments. Empirically, these methods are observed to exaggerate disparities, but the reason why is unknown. In this paper, we decompose the biases in estimating outcome disparity via threshold-based imputation into multiple interpretable bias sources, allowing us to explain when over- or underestimation occurs. We also propose an alternative weighted estimator that uses soft classification, and show that its bias arises simply from the conditional covariance of the outcome with the true class membership. Finally, we illustrate our results with numerical simulations and a public dataset of mortgage applications, using geolocation as a proxy for race. We confirm that the bias of threshold-based imputation is generally upward, but its magnitude varies strongly with the threshold chosen. Our new weighted estimator tends to have a negative bias that is much simpler to analyze and reason about.

연구 동기 및 목표

• BISG와 같은 프록시 모델을 통해 보호받는 집단 소속을 임계값 기반으로 추정할 때 격차 추정치가 왜 과대평가되는지 이해하기.
• 보호받는 집단 레이블이 누락되어 확률적 프록시를 사용해 추정될 때 결과 격차 추정의 편향 원인을 분해하기.
• 프록시 모델에서의 불확실성을 최종 공정성 추정치에 반영하는 대안적인 가중치 추정기법을 제안하고 분석하기.
• 가중치 추정기법의 편향이 단일 해석 가능한 원인—즉, 각 지리적 위치 내에서 진짜 집단 소속과 결과 간 조건부 공분산—에서 기인한다는 것을 보여주기.
• 무지 상태에서 공정성 평가를 수행할 경우, 임계값 기반 추정보다 가중치 추정기법을 사용할 이론적 및 실증적 근거 제시하기.

제안 방법

• 논문은 프록시 모델(예: BISG)에서 제공하는 확률 임계값을 기반으로 개인을 보호받는 집단에 할당하는 임계값 기반 추정기법을 도입하고, 이를 통해 추정된 레이블을 사용해 격차를 계산한다.
• 임계값 기반 추정기법의 편향을 두 성분으로 이론적으로 분해한다: 인구 조사 지역 간의 차이(상호지역적 변동성)와 각 지역 내의 차이(내지역적 변동성)로, 이는 진짜 집단 소속과 결과 간 상관관계의 변동성과 관련된다.
• 프록시 모델의 전체 사후 확률을 가중치로 사용하는 가중치 추정기법을 제안하여 딱딱한 임계값을 피한다.
• 가중치 추정기법의 편향이 각 지리적 위치 내에서 진짜 집단 소속과 결과 간 조건부 공분산에만 의존한다는 것을 이론적으로 증명한다(즉, 내지역 변동성).
• 이론적 결과는 수치 시뮬레이션과 지리적 위치를 인종의 프록시로 사용한 공개 HMDA 모기지 데이터셋을 통해 검증된다.
• 논문은 정리 3.1을 사용하여 가중치 추정기법의 편향이 결과가 우월 집단과 정확히 관련되어 있고 열등 집단와는 반대로 관련된 인구 조사 지역의 분포에 의해 결정됨을 보여준다.

실험 결과

연구 질문

• RQ1 BISG와 같은 프록시 모델을 통해 보호받는 집단 소속을 임계값 기반으로 추정할 때 왜 인구 통계적 격차가 과대평가되는가?
• RQ2 보호받는 집단 소속이 관측되지 않을 경우, 임계값 기반 격차 추정에서 발생하는 편향의 고유한 원인들은 무엇인가?
• RQ3 프록시 모델의 소프트 분류를 사용하는 가중치 추정기법의 편향은 임계값 기반 추정기법과 어떻게 다를까?
• RQ4 가중치 추정기법의 편향은 단일 해석 가능한 성분으로 특징지어질 수 있으며, 이는 공정성 평가를 어떻게 단순화하는가?
• RQ5 추정에서 임계값의 선택이 격차 추정의 편향의 크기와 방향에 어떻게 영향을 미치는가?

주요 결과

• 임계값 기반 추정은 상호지역적 및 내지역적 변동성 간의 복잡한 상호작용으로 인해 격차 추정에 상향 편향을 초래하며, 이 크기는 선택된 임계값에 크게 의존한다.
• 임계값 기반 추정기법의 편향은 보호받는 집단 소속과 결과 상관관계의 상호지역적 및 내지역적 변동성에서 기인한다.
• 가중치 추정기법은 단일 분석 가능한 편향 원인—각 지리적 위치 내에서 진짜 집단 소속과 결과 간 조건부 공분산—을 가지며, 이는 격차를 체계적으로 과소평가한다.
• HMDA 모기지 데이터셋에서 대부분의 사람들이 백인의 승인 비율이 흑인 또는 히스패닉 이웃보다 높은 인구 조사 지역에 거주하고 있어, 가중치 추정기법의 과소평가 편향을 설명한다.
• 임계값 기반 추정기법의 편향은 서로 경쟁하는 편향 원인으로 인해 임계값 선택에 매우 민감하여 다양한 설정 간에 결과가 강건하지 않다.
• 가중치 추정기법의 편향은 더 쉽게 추론 가능하고 더 예측 가능하므로, 보호받는 집단 레이블이 관측되지 않을 경우 공정성 평가에 더 신뢰할 수 있는 대안이 된다.