[논문 리뷰] Causal Intersectionality and Fair Ranking

Ke Yang, Joshua R. Loftus외 1명|arXiv (Cornell University)|2020. 06. 15.

Game Theory and Voting Systems참고 문헌 43인용 수 17

한 줄 요약

이 논문은 인구 통계적 소수자 집단 간의 겹치는 특성(예: 인종과 성별)이 있는 랭킹 시스템에서 인과적 정의로운 모델링 프레임워크를 제안한다. 반사적 점수를 사용하여 이러한 겹치는 민감한 속성에 걸쳐 편향을 완화한다. 개인이 다른 교차적 집단에 속해 있었다면 어떤 점수를 얻었을지의 반사적 시뮬레이션을 통해, 이 방법은 더 정의로운 상위-k 랭킹을 달성한다. 실제 및 합성 데이터셋을 통해 검증되었으며, 소수자 하위 집단의 표현이 향상됨을 입증하였다.

ABSTRACT

In this paper we propose a causal modeling approach to intersectional fairness, and a flexible, task-specific method for computing intersectionally fair rankings. Rankings are used in many contexts, ranging from Web search to college admissions, but causal inference for fair rankings has received limited attention. Additionally, the growing literature on causal fairness has directed little attention to intersectionality. By bringing these issues together in a formal causal framework we make the application of intersectionality in algorithmic fairness explicit, connected to important real world effects and domain knowledge, and transparent about technical limitations. We experimentally evaluate our approach on real and synthetic datasets, exploring its behavior under different structural assumptions.

연구 동기 및 목표

• 특히 교차적 편향의 맥락에서 랭킹 작업에 대한 인과적 정의로운 연구의 격차를 해소하기 위해.
• 구조적 인과 모델(SCM)과 반사적 추론을 사용하여 교차적 정의로움을 체계화하기 위해.
• 다중 민감한 속성과 그들의 교차를 고려한 유연하고 작업에 특화된 정의로운 랭킹을 계산하는 방법을 개발하기 위해.
• 다양한 구조적 가정 하에서 실제 및 합성 데이터셋에 대해 방법을 실증적으로 평가하기 위해.
• 교차적 정의로움을 인과적 정의로운 문헌과 연결하여, 현실 세계의 인과 관계와 영역 지식에 기반한 정의로움을 확립하기 위해.

제안 방법

• 민감한 속성(예: 성별, 인종), 중간 변수, 결과 점수를 포함한 변수들 간의 인과 관계를 나타내기 위해 방향성 비순환 그래프(DAG)를 사용하는 구조적 인과 모델(SCM)을 사용한다.
• 반사적 점수는 do-계산법 간섭을 통해 계산된다: 각 개인에 대해, 그들이 다른 교차적 하위집단(예: 흑인 여성 대신 백인 남성)에 속해 있었다면 점수가 어떻게 변했을지를 시뮬레이션한다.
• 그런 다음 이러한 반사적 점수를 기반으로 랭킹을 생성하여, 민감한 속성에 기인한 인과적 영향을 제거함으로써 교차적 집단 간의 정의로운 랭킹을 확보한다.
• 결정 과정에서 윤리적으로 정당화될 수 있는 중간 변수(해결 가능한 중간 변수)와 그렇지 않은 중간 변수(비해결 가능한 중간 변수)를 구분함으로써, 더 세밀한 모델링이 가능하다.
• 점수 기반 랭킹과 학습-랭킹(LTR) 작업 모두를 지원하며, LTR에는 ListNet을 사용하고 반사적 학습을 적용하였다.
• 프레임워크는 코드로 구현되어 있으며, 공개적으로 제공되며 https://github.com/DataResponsibly/CIFRank 에서 접근할 수 있다.

실험 결과

연구 질문

• RQ1 어떻게 랭킹 시스템에 대한 인과적 프레임워크 내에서 교차적 정의로움을 체계화할 수 있는가?
• RQ2 반사적 추론을 통해 랭킹의 상위-k 결과에서 인종과 성별과 같은 겹치는 민감한 속성 간의 편향을 어느 정도 줄일 수 있는가?
• RQ3 혼동요인 또는 중간 변수의 존재와 같은 다양한 구조적 가정 하에서 이 방법의 성능은 어떻게 되는가?
• RQ4 이 방법은 교차적 집단 간의 유틸리티 손실을 최소화하면서도 인구 통계적 평등을 달성할 수 있는가?
• RQ5 해결 가능한 중간 변수와 비해결 가능한 중간 변수의 선택이 정의로운 결과에 어떤 영향을 미치는가?

주요 결과

• 반사적 랭킹 방법은 CSRankings 데이터셋에서 소수의 지리적 소수자 집단(예: 작은 소수의 학과)의 표현을 향상시켰으며, 소수의 학과가 상위 20위 내로 진입하고 지리적 균형이 향상되었다.
• 이동 회사 및 COMPAS 데이터셋에서, 이 방법은 교차적 집단(예: 흑인 여성, 백인 남성) 간의 선발 비율의 인구 통계적 불균형을 줄였으며, 해결 가능한 cf-LTR 변형이 가장 균형 잡힌 결과를 보였다.
• 실험에서 유틸리티 손실이 교차적 집단 간에 균형 잡히지 않았음에도 불구하고, 이 방법은 합리적인 정의로운 개선을 달성하였다. 관측된 불균형은 실험에서 1%에서 5%의 범위였다.
• ListNet을 사용한 LTR 작업에서 이 방법은 강건성을 보였으며, 학습된 랭커가 반사적 변환에 민감하지 않음을 보여, 테스트 시점의 정의로운 보장을 위한 잠재적 가능성도 제시하였다.
• 다중 중간 변수 또는 관측되지 않은 혼동요인을 포함한 모델에서는 순차적 무시 가능성을 가정하는 것의 민감도가 높아, 모델의 타당성의 중요성을 부각시켰다.
• 이 프레임워크는 인과적 구조에 기반한 투명하고 해석 가능한 정의로운 간섭을 가능하게 하여, 포함적인 의사결정 과정을 지원한다.