[논문 리뷰] FlipTest: Fairness Auditing via Optimal Transport.

Emily Black, Samuel Yeom외 1명|arXiv (Cornell University)|2019. 06. 21.

Ethics and Social Impacts of AI참고 문헌 32인용 수 4

한 줄 요약

FlipTest는 최적의 운반을 사용하여 보호 그룹 간의 개인을 매칭시켜 분포 내 쌍을 형성하고, 이로써 차별을 탐지하는 블랙박스 형 fairness 감사 방법이다. 이 방법은 그룹 소속 상태를 시뮬레이션한 후 예측이 변화하는 '플립셋'(flipset)을 식별함으로써, 인구 수준의 형평성 기준을 충족하더라도 유해한 부분군 대우를 탐지할 수 있다.

ABSTRACT

We present FlipTest, a black-box technique for uncovering discrimination in classifiers. FlipTest is motivated by the intuitive question: had an individual been of a different protected status, would the model have treated them differently? Rather than relying on causal information to answer this question, FlipTest leverages optimal transport to match individuals in different protected groups, creating similar pairs of in-distribution samples. We show how to use these instances to detect discrimination by constructing a flipset: the set of individuals whose classifier output changes post-translation, which corresponds to the set of people who may be harmed because of their group membership. To shed light on why the model treats a given subgroup differently, FlipTest produces a transparency report: a ranking of features that are most associated with the model's behavior on the flipset. Evaluating the approach on three case studies using real and synthetic data, we show that this provides a computationally inexpensive way to identify subgroups that may be harmed by model discrimination, including in cases where the model satisfies population-level group fairness criteria.

연구 동기 및 목표

• 모델이 인구 수준의 형평성 기준을 충족하더라도 부분군 수준의 차별을 탐지하는 데 도전하는 문제를 해결하기 위해.
• 인과적 가정이나 모델 내부 정보 없이도 형평성 감사를 수행할 수 있는 블랙박스 방법을 개발하기 위해.
• 투명성 보고서를 통해 어떤 특징이 차별적 행동에 가장 큰 영향을 미치는지 파악하여 실천 가능한 통찰을 제공하기 위해.
• 최적의 운반 기반 샘플 매칭을 활용해 계산적으로 경량이면서도 효율적인 형평성 평가를 가능하게 하기 위해.

제안 방법

• FlipTest는 최적의 운반을 사용하여 서로 다른 보호 그룹의 개인을 매칭시켜 분포의 차이를 최소화함으로써 분포 내 쌍을 구성한다.
• 개인의 보호 그룹 소속 상태를 반전시킨 반사적 시나리오를 시뮬레이션하여 입력의 '이동된'(translated) 버전을 생성한다.
• 플립셋은 이러한 이동 후 분류기 출력이 변화하는 개인들의 집합으로 정의되며, 이는 그룹 소속으로 인한 잠재적 차별을 시사한다.
• 투명성 보고서는 플립셋에서 모델 행동과 관련성이 높은 특징들을 순위화하여 차별적 영향을 부각시킨다.
• 이 방법은 블랙박스 방식으로 작동하며, 오직 모델 예측과 입력 데이터에만 접근이 필요하다.
• 최적의 운반을 활용하여 매칭된 쌍이 비교 가능하고 기저 데이터 분포를 대표할 수 있도록 보장한다.

실험 결과

연구 질문

• RQ1 최적의 운반을 사용하여 서로 다른 보호 그룹의 개인 간에 공정하고 분포 내 비교를 만들 수 있는가?
• RQ2 전체 형평성 기준이 충족되더라도 플립셋 접근 방식이 해로운 부분군 차별을 탐지할 수 있는가?
• RQ3 투명성 보고서가 차별적 행동에 가장 기여하는 특징을 식별하는 데 얼마나 효과적인가?
• RQ4 FlipTest는 최소한의 계산 비용으로 실제 및 합성 데이터 세트에서 차별을 탐지할 수 있는가?
• RQ5 기존의 형평성 감사 방법과 비교해 볼 때, FlipTest는 숨겨진 부분군 차이를 어떻게 더 잘 탐지할 수 있는가?

주요 결과

• FlipTest는 인구 수준의 형평성 기준을 충족하더라도 모델의 차별로 인해 피해를 입는 부분군을 성공적으로 식별한다.
• 기존의 형평성 기준이 부분군 수준의 격리된 차이를 드러내지 못하는 경우에도 이 방법은 차별을 탐지할 수 있다.
• 투명성 보고서는 플립셋에서 차별적 행동과 관련성이 높은 특징들을 순위화하여 실천 가능한 통찰을 제공한다.
• 이 방법은 계산적으로 효율적이며, 모델 내부 정보에 접근하지 않고도 블랙박스 감사를 가능하게 한다.
• 실제 및 합성 데이터에 대한 평가 결과, FlipTest는 집합적 형평성 기준으로는 드러나지 않는 숨겨진 형평성 문제를 드러낼 수 있음을 입증했다.
• 플립셋은 그룹 소속에 민감하게 반응하는 결과를 보이는 개인들을 효과적으로 포괄하여 잠재적 차별을 부각시킨다.