[논문 리뷰] A Sequentially Fair Mechanism for Multiple Sensitive Attributes

François Hu, Philipp Ratz외 1명|arXiv (Cornell University)|2023. 09. 12.

Health Systems, Economic Evaluations, Quality of Life인용 수 4

한 줄 요약

이 논문은 다중 민감 특성(MSA)에 대해 순차적으로 공정한 메커니즘을 제안하며, 다중 마진 워셔슈타인 바리센터를 사용하여 예측 후처리에서 정확한 공정성과 근사 공정성을 달성한다. 이 방법은 민감 특성 간의 순서에 영향을 받지 않는 공정한 결과를 보장하면서도 특정 공정성 기준을 우선시할 수 있으며, 강력한 경험적 성능을 보이는 닫힌 형태의 해를 제공한다. 합성 및 실세계 데이터셋에서 검증되었다.

ABSTRACT

In the standard use case of Algorithmic Fairness, the goal is to eliminate the relationship between a sensitive variable and a corresponding score. Throughout recent years, the scientific community has developed a host of definitions and tools to solve this task, which work well in many practical applications. However, the applicability and effectivity of these tools and definitions becomes less straightfoward in the case of multiple sensitive attributes. To tackle this issue, we propose a sequential framework, which allows to progressively achieve fairness across a set of sensitive features. We accomplish this by leveraging multi-marginal Wasserstein barycenters, which extends the standard notion of Strong Demographic Parity to the case with multiple sensitive characteristics. This method also provides a closed-form solution for the optimal, sequentially fair predictor, permitting a clear interpretation of inter-sensitive feature correlations. Our approach seamlessly extends to approximate fairness, enveloping a framework accommodating the trade-off between risk and unfairness. This extension permits a targeted prioritization of fairness improvements for a specific attribute within a set of sensitive attributes, allowing for a case specific adaptation. A data-driven estimation procedure for the derived solution is developed, and comprehensive numerical experiments are conducted on both synthetic and real datasets. Our empirical findings decisively underscore the practical efficacy of our post-processing approach in fostering fair decision-making.

연구 동기 및 목표

• 다양한 민감 특성에서 발생하는 교차적 편향을 다루는 데에 한계가 있는 단일 민감 특성 공정성 방법의 문제점을 해결하기 위해.
• 예측 성능을 훼손하지 않으면서도 다수의 민감 특성에 걸쳐 공정성을 보장하는 후처리 프레임워크를 개발하기 위해.
• 특정 특성에 대해 근사 공정성 제약 조건을 허용함으로써 유연하고 우선순위가 부여된 공정성 향상을 가능하게 하기 위해.
• 민감 특성 간 상관관계를 정량화하는 공정성 수정 과정에서 해석이 용이한 닫힌 형태의 해를 제공하기 위해.
• 다양한 데이터셋에서 제안된 방법의 효과성을 경험적으로 검증하기 위해.

제안 방법

• 이 방법은 다중 마진 2-워셔슈타인 바리센터를 구성하여 강력한 민감 특성 평등성의 다중 민감 특성으로의 일반화를 달성한다.
• 워셔슈타인 바리센터의 결합 법칙을 활용해 최적의 공정 예측자를 순차적인 형태로 재구성함으로써, 수정 순서에 관계없이 일관된 결과를 보장한다.
• 조정 가능한 공정성 제약 조건을 도입하여 근사 공정성을 지원함으로써 위험과 불공정성 사이의 트레이드오프를 가능하게 한다.
• 실용적 구현을 위해 경험적 분포에서 바리센터를 추정하는 데이터 기반 추정 절차를 개발하였다.
• 개별 공정성 제약 조건 파rameter를 조정함으로써 특정 특성에 대해 공정성 향상을 우선시할 수 있도록 프레임워크를 설계하였다.
• 이 방법은 어떤 오프더쉐프 예측기이든 후처리적으로 적용 가능하므로 원래 성능을 유지하면서도 편향을 수정할 수 있다.

Figure 1: Synthetic data with $\boldsymbol{\tau}=(0,0.05,0.1)$ . A sequential unfairness evaluation, $\mathcal{U}_{3}$ , of ( left pane ) exact fairness, ( middle ) approximate $A_{1:3}$ -fairness with $\boldsymbol{\varepsilon}$ -RI where $\boldsymbol{\varepsilon}=\varepsilon_{1,2,3}=(0.2,0.5,0.75)$

실험 결과

연구 질문

• RQ1 민감 특성 수정 순서에 의존하지 않고 다수의 민감 특성에 걸쳐 일관된 공정성을 달성할 수 있는 방법은 무엇인가?
• RQ2 최적 운반 이론을 활용해 민감 특성 평등성을 다중 민감 특성으로 일반화하는 최적의 방법은 무엇인가?
• RQ3 다양한 특성 설정에서 특정 특성에 대해 공정성 제약 조건을 어떻게 민감하게 우선순위를 정할 수 있는가?
• RQ4 근사 공정성이 예측 성능과 부분군 공정성에 미치는 영향은 무엇인가?
• RQ5 민감 특성 간 상관관계가 공정성 수정 과정과 결과에 어떻게 영향을 미치는가?

주요 결과

• 제안된 방법은 민감 특성 수정 순서에 관계없이 순서에 영향을 받지 않는 정확한 공정성을 달성한다.
• Adult 데이터셋에서 이 방법은 불공정성을 0.18에서 0.03으로 감소시켰으며 F1 점수는 0.90를 유지하였다. 이는 Fairlearn(0.08 불공정성)과 FairBalance(0.16 불공정성)를 모두 능가하는 성능을 보였다.
• 10개의 민감 특성을 가진 tunadromd 데이터셋에서 불공정성은 3.77에서 1.05로 감소하였으며, 고차원 민감 특성 공간에서도 확장 가능함을 보였다.
• 이 방법은 타깃화된 공정성 향상을 가능하게 한다: 예를 들어 성별에 대한 ε를 인종에 비해 1/6으로 조정함으로써 부분군의 평균 예측치를 유지하면서도 주요 특성에 대해 수정이 가능하다.
• 수치 실험 결과, 이 방법은 모든 테스트 데이터셋에서 불공정성을 크게 감소시키면서도 높은 예측 성능(F1 ≈ 0.95, Adult 기준)을 유지함을 보였다.
• 순차적 프레임워크는 부분군 수준의 공정성 영향을 명확히 해석할 수 있게 하였으며, 수정 순서에 따라 특정 부분군에 대해 순수 이득 또는 손실이 발생할 수 있음을 드러내었다.

Figure 2: (Risk, Unfairness) phase diagrams that shows the sequential fairness approach for ( left ) two and ( right ) three sensitive features. In this study, Unfairness represents the overall unfairness $\hat{\mathcal{U}}=\hat{\mathcal{U}}_{1:3}$ . Bottom-left corner gives the best trade-off.