[논문 리뷰] Fairness Aware Counterfactuals for Subgroups

Loukas Kavouras, Konstantinos Tsopelas외 7명|arXiv (Cornell University)|2023. 06. 26.

Social and Intergroup PsychologySocial Sciences인용 수 3

한 줄 요약

FACTS는 보호받는 하위군에 대한 복구 부담을 분석하기 위해 반사적 복구를 활용하는 모델 독립적 프레임워크를 소개한다. 평균 비용을 넘어서는 정교한 정의의 정의를 제공하며, 효과성-비용 트레이드오프와 예산 제약이 있는 복구를 포함한다. 누적 비용 분포와 조건부 메트릭을 사용하여 하위군 간 정의를 강력하고 파rameterized하게 평가할 수 있으며, 벤치마크 데이터셋에서 숨겨진 불균형을 뛰어나게 탐지함을 보여준다.

ABSTRACT

In this work, we present Fairness Aware Counterfactuals for Subgroups (FACTS), a framework for auditing subgroup fairness through counterfactual explanations. We start with revisiting (and generalizing) existing notions and introducing new, more refined notions of subgroup fairness. We aim to (a) formulate different aspects of the difficulty of individuals in certain subgroups to achieve recourse, i.e. receive the desired outcome, either at the micro level, considering members of the subgroup individually, or at the macro level, considering the subgroup as a whole, and (b) introduce notions of subgroup fairness that are robust, if not totally oblivious, to the cost of achieving recourse. We accompany these notions with an efficient, model-agnostic, highly parameterizable, and explainable framework for evaluating subgroup fairness. We demonstrate the advantages, the wide applicability, and the efficiency of our approach through a thorough experimental evaluation of different benchmark datasets.

연구 동기 및 목표

• 보호받는 하위군 간 복구 부담을 평가하는 데 있어 평균 비용 기반 정의 메트릭의 한계를 해결하기 위해.
• 개별적 변동성과 하위군 행동의 거시적 수준을 반영하는 세밀하고 강력한 정의 개념을 도입하기 위해.
• 반사적 설명을 사용하여 하위군 정의를 평가할 수 있는 모델 독립적이고 파arameterizable 프레임워크를 개발하기 위해.
• 예산 제약과 같은 현실적인 제약 조건을 고려한 정의 감사를 가능하게 하기 위해.
• 이 프레임워크의 효율성, 광범위한 적용 가능성, 그리고 실제 데이터셋에서 숨겨진 불균형을 탐지하는 능력을 입증하기 위해.

제안 방법

• 개별자 간 복구 비용과 성공률 간의 트레이드오프를 분석하고 시각화하기 위해 효과성-비용 분포(ECD)를 도입한다.
• 새로운 정의 메트릭을 제안한다: 효과성에 대한 동일 비용(Macro/Micro), 복구를 위한 동일 선택, 예산 내에서의 동일 효과성, 정의적인 효과성-비용 트레이드오프.
• 반사적 설명을 활용하여 개인이 유리한 결과를 얻기 위해 필요한 최소한의 특성 변형을 계산한다.
• 비용, 효과성, 예산 제약 조건의 임계값을 조정할 수 있는 파arameterized 평가 파이프라인을 구현한다.
• fp-growth를 사용하여 영향을 받는 인구 집단 내 하위군을 식별하고, 정의 메트릭 점수 기반으로 순위를 매긴다.
• 조건부 평균 복구와 정의 인식 순위를 통합하여 부당한 부담을 지닌 하위군을 탐지한다.

실험 결과

연구 질문

• RQ1 기존의 평균 복구 비용 기반 정의 메트릭은 하위군 간 진정한 부담 분포를 어떻게 간과하는가?
• RQ2 개별 수준과 하위군 수준에서 복구 접근의 공정성을 더 잘 반영할 수 있는 정교한 정의 개념은 무엇인가?
• RQ3 비용 제약 조건과 현실적인 실행 가능성 임계값을 고려할 때 정의 감사는 어떻게 강력하게 만들 수 있는가?
• RQ4 제안된 프레임워크는 표준 정의 메트릭이 드러내지 못한 숨겨진 불균형을 어느 정도 탐지할 수 있는가?
• RQ5 다양한 실제 데이터셋에서 이 프레임워크는 불공정하게 부담을 지닌 하위군을 식별하는 데 어떻게 성능을 발휘하는가?

주요 결과

• 광고 캠페인 데이터셋에서 상위 10퍼센트의 가장 불공정한 하위군 중 128개는 정의적인 효과성-비용 트레이드오프 메트릭 하에서 여성에 대한 편향을 보였으며, 이는 방법의 숨겨진 불균형에 대한 민감도를 강조한다.
• 예산 내에서 동일 효과성(1.0) 메트릭은 오직 1개의 하위군만 심각하게 불공정하다고 식별하여, 대부분의 하위군이 저비용 제약 조건 하에서도 복구를 달성할 수 있음을 시사한다.
• 임계값 0.3을 가진 복구를 위한 동일 선택 메트릭 하에서 66개의 하위군이 여성에 대한 편향을 보였으며, 이는 낮은 비용의 조치조차도 심각한 불평등을 드러낼 수 있음을 보여준다.
• 임계값 0.7을 가진 효과성에 대한 동일 비용(Macro) 메트릭 하에서 264개의 가장 불공정한 하위군이 탐지되었으며, 이는 중간 비용 복구에 대한 강력한 민감도를 보임을 시사한다.
• 정의적인 효과성-비용 트레이드오프 메트릭은 모든 정의 메트릭 중 평균 순위 점수 0.971을 기록하여 전체적으로 뛰어난 정의 탐지 능력을 보임을 나타낸다.
• 신용 평가 데이터셋에서 이 프레임워크는 레이스 1 소속자의 80퍼센트가 비용 예산 2 이내에서 복구를 달성할 수 있었지만, 레이스 0 소속자는 오직 60퍼센트에 그쳐 이전에 드러나지 않은 불평등을 탐지했다.