[논문 리뷰] Measuring Fairness in Ranked Outputs

Ke Yang, Julia Stoyanovich|arXiv (Cornell University)|2016. 10. 26.

Game Theory and Voting Systems인용 수 7

한 줄 요약

이 논문은 nDCG 방식의 위치 기반 할인을 전통적 공정성 메트릭과 융합하여 순위 출력에서의 통계적 평등을 측정하는 새로운 순위 인지 공정성 측정법—rND, rKL, rRD—을 제안한다. 저자들은 이러한 측정법을 시뮬레이션 데이터와 실제 데이터셋(예: 독일 신용 데이터)에 적용하여 불공정성을 탐지하고, 정확도를 유지하면서 공정성을 향상시키는 최적화 결과를 제시한다.

ABSTRACT

Ranking and scoring are ubiquitous. We consider the setting in which an institution, called a ranker, evaluates a set of individuals based on demographic, behavioral or other characteristics. The final output is a ranking that represents the relative quality of the individuals. While automatic and therefore seemingly objective, rankers can, and often do, discriminate against individuals and systematically disadvantage members of protected groups. This warrants a careful study of the fairness of a ranking scheme. In this paper we propose fairness measures for ranked outputs. We develop a data generation procedure that allows us to systematically control the degree of unfairness in the output, and study the behavior of our measures on these datasets. We then apply our proposed measures to several real datasets, and demonstrate cases of unfairness. Finally, we show preliminary results of incorporating our ranked fairness measures into an optimization framework, and show potential for improving fairness of ranked outputs while maintaining accuracy.

연구 동기 및 목표

• 순위에서의 위치가 결과 이점에 영향을 주므로, 순위 출력에 특화된 공정성 측정법을 개발하는 것.
• 기존 공정성 메트릭의 상대적 순위 설정에서의 한계를 보완하기 위해 위치 기반 가중치를 통합하여 순위에서의 통계적 평등을 측정하는 것.
• 제안된 공정성 측정법을 시뮬레이션 및 실제 세계 데이터셋에 적용하여 순위 시스템의 불공정성을 탐지하고 분석하는 것.
• 공정성 메트릭을 최적화 프레임워크에 통합하여 정확도를 희생시키지 않고도 공정성을 향상시키는 것.
• 순위 시스템의 알고리즘 공정성 감사 및 향상에 있어 원칙적이고 해석 가능하며 책임감 있는 방법을 제공하는 것.

제안 방법

• nDCG 방식의 위치 기반 할인을 사용하여 기존 표준 통계적 평등 메트릭을 순위 환경에 적응시켜 새로운 세 가지 공정성 측정법(rND, rKL, rRD)을 제안한다.
• 통제된 평가를 위해 순위 출력에서의 불공정성 정도를 체계적으로 제어할 수 있는 시뮬레이션 데이터 생성 절차를 설계한다.
• 실제 데이터셋(예: 독일 신용 데이터)에 공정성 측정법을 적용하며, 신용 금액과 정규화된 점수 합을 순위 신호로, 성별/나이를 보호 그룹으로 사용한다.
• Zemel 등 [9]의 공정 표현 프레임워크를 순위 설정에 맞게 적응시키기 위해 정확도 손실 항목을 진짜 순위와 추정 순위 간의 평균 항목별 점수 차이를 사용하도록 재정의한다.
• 공정성(Lz), 입력 공간의 충실도(Lx), 순위 정확도(Ly)를 균형 잡기 위해 무게 조정 가능한 다기준 최적화 목표를 사용한다.
• 수렴 모니터링을 통해 최적화 과정에서 공정성과 정확도 사이의 트레이드오프를 평가하며, 정규화된 평균 점수 차이 및 공정성 구성 요소와 같은 메트릭을 사용한다.

실험 결과

연구 질문

• RQ1 순위의 상대성 고려 시, 통계적 평등 공정성은 어떻게 의미적으로 측정할 수 있는가?
• RQ2 기존 공정성 메트릭은 순위에서의 위치 기반 공정성 문제를 얼마나 잘못 반영하는가? 그리고 어떻게 개선할 수 있는가?
• RQ3 순위 인지 공정성 측정법은 실생활 순위 시스템(예: 대출 신청에서 사용되는 시스템)에서 불공정성을 탐지하고 측정할 수 있는가?
• RQ4 정확도를 크게 떨어뜨리지 않고 순위에서의 공정성을 최적화하는 것이 가능한가?
• RQ5 다양한 순위 신호(예: 신용 금액 대비 정규화된 점수 합)는 공정성과 정확도의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• 제안된 순위 인지 공정성 측정법(rND, rKL, rRD)은 시뮬레이션 및 실제 데이터셋 모두에서 불공정성을 효과적으로 탐지하고 측정한다. 독일 신용 데이터셋에서 rKL은 0.01에서 0.15 사이, rND는 0.05에서 0.41 사이의 값을 보였다.
• 독일 신용 데이터셋에서 rRD는 나이 < 25인 경우에만 적용 가능했으며, 값은 0.08에서 0.12 사이로, 상위 순위에서 측정 가능한 그러나 제한된 불공정성을 시사했다.
• 수정된 공정 표현 프레임워크를 사용한 최적화로 공정성 메트릭(rND, rKL, rRD, Lz)이 낮은 수준으로 감소하여 공정한 순위로 수렴하는 것을 확인했다.
• 정규화된 속성 합에 기반한 순위 매기기(그림 6)는 신용 금액만을 기반으로 한 순위 매기기(그림 7)보다 정확도를 더 효과적으로 유지했다. 이는 신호 품질이 공정성-정확도 트레이드오프에 영향을 준다는 것을 시사한다.
• 최적화 프레임워크는 정확도를 유지하면서 공정성을 향상시키는 데 잠재력을 보였지만, 수렴성과 계산 효율성은 향후 연구가 필요한 과제이다.
• 연구는 순위에서의 공정성이 단지 그룹 수준의 결과 비율로만 평가될 수 없으며, 순위 내 위치가 공정성 결과에 결정적인 영향을 미친다는 점을 확인했다.