[논문 리뷰] Fairness Measures for Regression via Probabilistic Classification

Daniel Steinberg, Alistair Reid외 1명|arXiv (Cornell University)|2020. 01. 16.

Ethics and Social Impacts of AI참고 문헌 21인용 수 7

한 줄 요약

이 논문은 보호된 속성 조건부 확률을 추정하기 위해 확률적 분류를 사용하여 회귀 과제에서의 공정성 기준—독립성, 분리성, 충분성—에 대한 해석 가능하고 모델에 종속되지 않는 근사치를 제안한다. 상호정보량과 밀도 비율 추정기들이 강력하고 해석 가능한 공정성 평가를 제공하며, 실험 결과는 실제 회귀 모델에서 공정성과 정확도 사이의 트레이드오프를 보여준다.

ABSTRACT

Algorithmic fairness involves expressing notions such as equity, or reasonable treatment, as quantifiable measures that a machine learning algorithm can optimise. Most work in the literature to date has focused on classification problems where the prediction is categorical, such as accepting or rejecting a loan application. This is in part because classification fairness measures are easily computed by comparing the rates of outcomes, leading to behaviours such as ensuring that the same fraction of eligible men are selected as eligible women. But such measures are computationally difficult to generalise to the continuous regression setting for problems such as pricing, or allocating payments. The difficulty arises from estimating conditional densities (such as the probability density that a system will over-charge by a certain amount). For the regression setting we introduce tractable approximations of the independence, separation and sufficiency criteria by observing that they factorise as ratios of different conditional probabilities of the protected attributes. We introduce and train machine learning classifiers, distinct from the predictor, as a mechanism to estimate these probabilities from the data. This naturally leads to model agnostic, tractable approximations of the criteria, which we explore experimentally.

연구 동기 및 목표

• 연속적인 결과로 인해 기존의 분류 기반 공정성 기준이 적용되지 않는 회귀 문제에 대해 해석 가능한 공정성 측정 기준이 부족한 문제를 해결하기 위해.
• 조건부 확률 추정을 통해 독립성, 분리성, 충분성의 세 가지 핵심 공정성 기준에 대한 일반적이고 모델에 종속되지 않는 근사치를 개발하기 위해.
• 모델 내부나 추론 시 민감 속성 접근 권한 없이도 블랙박스 회귀 모델의 공정성에 대한 감사와 분석을 가능하게 하기 위해.
• 기존의 공정한 회귀 알고리즘의 성능을 이러한 새로운 근사치를 사용해 평가하여 공정성과 예측 정확도 사이의 트레이드오프를 규명하기 위해.
• 설명 가능하고 정규화된 공정성 메트릭스를 기반으로 회귀 시스템의 후처리 및 규제 감사를 위한 프레임워크를 제공하기 위해.

제안 방법

• 논문은 보호된 속성을 포함한 조건부 확률의 비율으로 공정성 기준을 분해하여 분류를 통해 추정할 수 있도록 한다.
• 보호된 속성 a, 진짜 결과 y, 예측 ŷ에 대해 P(a|y)와 P(a|ŷ)를 추정하기 위해 별도의 확률적 분류기를 훈련시킨다.
• 독립성 기준은 P(a|ŷ) / P(a|y)의 조건부 밀도 비율을 추정함으로써 밀도 비율 추정기를 사용하여 근사한다.
• 상호정보량 근사치는 경험적 통합을 사용하고 [0,1] 범위로 정규화되며, 0은 완전한 공정성을 의미한다.
• 이 방법은 합성 데이터와 실제 범죄 정의 데이터셋에 적용되어 공정성 트레이드오프를 평가한다.
• 이 방법은 예측, 진짜 결과, 민감 속성에만 접근이 필요하므로 블랙박스 시스템에 적합하며 모델에 종속되지 않는다.

실험 결과

연구 질문

• RQ1 연속적인 결과가 있는 회귀 설정으로 확장될 때, 독립성, 분리성, 충분성 공정성 기준이 의미적으로 유의미한가?
• RQ2 회귀 모델에 대해 모델에 종속되지 않고 계산 가능하게 이러한 공정성 기준을 어떻게 근사할 수 있는가?
• RQ3 기존의 공정한 회귀 알고리즘이 세 가지 공정성 기준을 얼마나 충족하는가? 그리고 정확도와 공정성 사이의 트레이드오프는 어떠한가?
• RQ4 공정성 감사에서 상호정보량과 밀도 비율 추정기 간의 강건성과 해석 가능성은 어떻게 비교되는가?
• RQ5 그룹 평균이 균형을 이루더라도, 그룹 간 오차 분포의 불균형과 같은 미세한 공정성 위반을 이러한 근사치가 감지할 수 있는가?

주요 결과

• 상호정보량 근사치는 [0,1]로 정규화되어 있어 직접적인 밀도 비율 추정보다 수치적으로 더 강건하고 해석하기 쉬웠다.
• 공정성 정규화 계수를 낮게 설정했을 때, 예측과 인종 간 강한 의존성이 관찰되어 독립성과 분리성이 떨어졌으며, 이는 충분성이 거의 충족되었음에도 불구하고 그러한 현상이 발생했다.
• 공정성 정규화 계수를 높이면 상호정보량과 밀도 비율 추정치가 감소함으로써 분리성이 향상되었지만, 모델 표현력이 감소함에 따라 RMSE도 증가했다.
• 밀도 비율 추정기 r_sep는 상호정보량 측정치 I_sep보다 더 낮은 정규화 계수에서 분리성을 충족하는 징후를 보였으며, 이는 근사 편향에 민감할 수 있음을 시사한다.
• Y×S 플롯의 시각적 점검 결과, 높은 정규화 계수 설정 시 예측값이 평균 쪽으로 끌려가면서 진짜 값 조건부 오차 분포의 그룹 간 차이가 감소했다.
• 이 방법은 분리성을 저해하는 모델이 여전히 그룹 간 대칭적인 오차 분포로 인해 기대치 기반 공정성 메트릭스에서는 공정해 보일 수 있음을 성공적으로 감지하여, 평균 기반 공정성 메트릭스의 한계를 드러냈다.