[논문 리뷰] Parametric Fairness with Statistical Guarantees

François Hu, Philipp Ratz외 1명|arXiv (Cornell University)|2023. 10. 31.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 도메인 특화된 분포 지식을 통합하면서 민감성 평등성(대부분의 성별, 인종 등)을 강제로 이행하기 위해 워셔스타인 바리센터를 사용하는 파라미터 기반 공정한 솔루션을 제안한다. 이는 통계적 보장을 보장하고, 측정 오차 및 잠재적 민감 변수에 대해 안정성과 강건성을 확보한다. 이 방법은 예측 정확도 손실를 최소화하면서도, 데이터 오염 또는 숨겨진 편향이 존재할 경우에도 공정성을 향상시킨다.

ABSTRACT

Algorithmic fairness has gained prominence due to societal and regulatory concerns about biases in Machine Learning models. Common group fairness metrics like Equalized Odds for classification or Demographic Parity for both classification and regression are widely used and a host of computationally advantageous post-processing methods have been developed around them. However, these metrics often limit users from incorporating domain knowledge. Despite meeting traditional fairness criteria, they can obscure issues related to intersectional fairness and even replicate unwanted intra-group biases in the resulting fair solution. To avoid this narrow perspective, we extend the concept of Demographic Parity to incorporate distributional properties in the predictions, allowing expert knowledge to be used in the fair solution. We illustrate the use of this new metric through a practical example of wages, and develop a parametric method that efficiently addresses practical challenges like limited training data and constraints on total spending, offering a robust solution for real-life applications.

연구 동기 및 목표

• 모델의 도메인 지식을 기각하고 교차적 또는 잠재적 편향을 다루지 못하는 무지한 후처리 공정성 방법의 한계를 해결하기 위해.
• 특히 고정 예산이 있는 월급 설정과 같은 실제 응용 분야에서 불공정한 모델에서 공정한 모델로의 전환에 있어 예측 안정성과 부드러운 전이를 보장하기 위해.
• 전문 지식을 공정 예측 분포에 통합하는 파라미터 기반 프레임워크를 개발하여 표준 인구 통계적 평등성 이상의 공정성을 향상시키기 위해.
• 파라미터 기반 공정한 솔루션에서 공정성, 위험, 예산 제약 조건에 대한 이론적 보장을 제공하기 위해.
• 표준 비모수적 방법이 실패하는 데이터 오류 및 잠재적 민감 변수 하에서의 강건성을 평가하기 위해.

제안 방법

• 기본 모델에서의 거리 최소화와 공정성 제약 조건을 동시에 만족시키는 공정 예측을 계산하기 위해 워셔스타인 바리센터를 사용한다.
• 도메인 지식을 통합하기 위해 공정 출력 분포에 파라미터 형태 제약 조건(예: 정규분포, 구불분포, 베타분포 등)을 적용한다.
• Chzhen 등(2020c)의 폐쇄형 최적 운반 계획을 적용하여 계산 효율성과 원활한 통합을 달성한다.
• 학습 데이터에서 추정된 파라미터를 사용하는 플러그인 추정기법을 활용하여 공정 예측을 생성한다.
• 워셔스타인 거리 기반의 위험-공정성 트레이드오프 측정 기준을 도입하여 다기간 공정성 전이를 가능하게 한다.
• 측정 오차를 보정하기 위해 파라미터 형태를 사용하여 입력 특징 또는 전이 학습에 의존하지 않는다.

Figure 1: Base predictors are shown in blue and orange, while the optimal fair predictor is in green. In this example, integrating fairness considerations with domain knowledge effectively mitigates intersectional fairness issues. Here, $g^{*}$ corresponds to the Bayes rule, while $g^{*(\text{fair})

실험 결과

연구 질문

• RQ1 잠재적 민감 변수가 존재할 경우, 파라미터 제약 조건이 공정성 향상과 예측 정확도 유지에 기여하는가?
• RQ2 파라미터 형태의 형태 제약 조건을 통한 도메인 지식 통합이 후처리 공정성 방법의 공정성과 안정성에 어떤 영향을 미치는가?
• RQ3 학습 데이터에 측정 오차가 존재할 경우, 파라미터 기반 공정 모델이 편향을 얼마나 줄일 수 있는가?
• RQ4 파라미터 기반 공정성 방법이 전체 할당에 대한 영향 최소화로 불공정한 상태에서 공정한 상태로의 부드러운 전이를 보장할 수 있는가?
• RQ5 다양한 파라미터 가족(예: 정규분포, 베타분포, 구불분포 등)이 실제 데이터셋에서 공정성-정확도 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 잠재적 민감 변수가 학습 중에 관측되지 않았음에도 불구하고, 비모수 기반 기준 대비 파라미터 기반 공정 방법은 이에 따른 불공정성을 최대 25% 감소시켰다.
• ACSIncome 데이터셋에서 학습 데이터에 75%의 측정 오차가 존재할 경우, 파라미터 기반 방법은 교정되지 않은 기준 대비 평균 제곱오차(MSE)를 16.5% 감소시켰다.
• Folktables ACSPublicCoverage 작업에서 파라미터 추정기법은 ε=0.75일 때 F1 스코어 0.536을 기록하여 비모수 방법(0.535)을 능가했으며, 동시에 공정성을 유지했다.
• 이 방법은 전체 예측 안정성을 유지했으며, 공정성 전이 과정에서 평균 점수의 일관성을 유지했으며, 예산 제약 조건이 있는 응용 분야(예: 급여 조정)에서 매우 중요했다.
• 이론적 보장에 따르면, 파라미터 추정기법은 최적 값으로 수렴하고 최적의 경우에 비해 총 예산 요구량이 유한하게 제한됨을 보여주었다.
• 잠재적 또는 오염된 데이터 하에서 파라미터 기반 접근법은 예측 정확도를 유지하거나 약간 감소시켰으며(예: 일부 경우 MSE 증가 약 0.01), 공정성 향상 효과는 뚜렷했다.

Figure 2: Approximate fairness between two gaussian distributions and their barycenter