[논문 리뷰] On the Problem of Underranking in Group-Fair Ranking

Sruthi Gorantla, Amit Deshpande외 1명|arXiv (Cornell University)|2020. 09. 24.

Auction Theory and Applications참고 문헌 23인용 수 6

한 줄 요약

이 논문은 그룹 간 공정성을 확보하면서도 개별 항목의 정당한 순위에서의 최악의 이격도(underranking)를 동시에 최소화하는 새로운 재순서 알고리즘을 제안한다. 이 알고리즘은 실제로 사용된 데이터셋인 COMPAS와 독일 신용 리스크 데이터셋에서 상태기반 기준보다도 공정성과 순위 유지 성능 모두에서 뛰어나며, underranking과 공정성 간의 이론적 트레이드오프 경계를 확립한다.

ABSTRACT

Search and recommendation systems, such as search engines, recruiting tools, online marketplaces, news, and social media, output ranked lists of content, products, and sometimes, people. Credit ratings, standardized tests, risk assessments output only a score, but are also used implicitly for ranking. Bias in such ranking systems, especially among the top ranks, can worsen social and economic inequalities, polarize opinions, and reinforce stereotypes. On the other hand, a bias correction for minority groups can cause more harm if perceived as favoring group-fair outcomes over meritocracy. In this paper, we formulate the problem of underranking in group-fair rankings, which was not addressed in previous work. Most group-fair ranking algorithms post-process a given ranking and output a group-fair ranking. We define underranking based on how close the group-fair rank of each item is to its original rank, and prove a lower bound on the trade-off achievable for simultaneous underranking and group fairness in ranking. We give a fair ranking algorithm that takes any given ranking and outputs another ranking with simultaneous underranking and group fairness guarantees comparable to the lower bound we prove. Our algorithm works with group fairness constraints for any number of groups. Our experimental results confirm the theoretical trade-off between underranking and group fairness, and also show that our algorithm achieves the best of both when compared to the state-of-the-art baselines.

연구 동기 및 목표

• 높은 정당성 점수를 가진 항목이 공정성을 확보하기 위해 비례적으로 낮아지는 문제인 underranking 문제를 간과한 바를 해결하기 위해.
• underranking을 개별 항목의 원래 정당성 기반 순위에서의 최악의 순위 이격도로 정의하고 형식화하기 위해.
• 재순서 과정에서 underranking과 그룹 간 공정성 간의 이론적 하한선을 설정하기 위해.
• 다양한 그룹에 대해 각각 다른 공정성 제약 조건을 가질 수 있도록, 동시에 underranking과 그룹 간 공정성에 대한 보장을 달성하는 빠르고 유연한 재순서 알고리즘을 설계하기 위해.
• 제안된 알고리즘이 상태기반 기준 대비 공정성과 순위 유지 균형을 어떻게 더 잘 달성하는지 실증적으로 검증하기 위해.

제안 방법

• underranking을 각 항목의 재순서된 순위와 원래 정당성 기반 순위 사이의 최대 절대 이격도로 정의한다.
• 각 순위 접두사(예: 상위-k 순위)에서 각 그룹의 항목 비율에 대한 제약 조건으로 그룹 공정성을 수식화한다.
• 주어진 정당성 기반 순서를 공정한 순서로 변환하면서 최악의 underranking을 최소화하는 재순서 알고리즘(ALG)을 제안한다.
• 그룹 구성 비율 제약 조건을 만족하면서도 원래의 정당성 순서에 대한 영향을 최소화하는 방식으로 반복적이고 탐욕적인 방법으로 순위를 재할당한다.
• 확장성과 이론적 성능 경계를 확보하기 위해 동적 프로그래밍과 근사 기법을 통합한다.
• 서로소인 임의의 수의 그룹을 지원하며, 각 그룹은 상위-k 내 최소/최대 구성 비율 등의 개별화된 공정성 제약 조건을 가질 수 있다.

실험 결과

연구 질문

• RQ1 재순서 과정에서 underranking을 최소화하고 그룹 간 공정성을 확보하는 데 있어 근본적인 트레이드오프는 무엇인가?
• RQ2 재순서 알고리즘이 동시에 underranking과 그룹 간 공정성에 대해 강력한 보장을 달성할 수 있는가?
• RQ3 실제 데이터셋에서 기존 기준 대비 순위 유지 및 공정성 지표 측면에서 제안된 알고리즘의 성능은 어떻게 되는가?
• RQ4 underranking과 공정성 간의 이론적 하한선은 실제로 얼마나 근접할 수 있는가?
• RQ5 다양한 그룹 공정성 제약 조건과 다수의 보호 그룹 하에서 알고리즘의 확장성과 성능은 어떠한가?

주요 결과

• 제안된 알고리즘은 Celis 등이 제안한 DP 기반 기준보다도 훨씬 낮은 underranking 수준을 달성하면서도 강력한 그룹 간 공정성을 유지한다.
• COMPAS 재범 위험 데이터셋에서, 알고리즘은 아프리카계 미국인 및 여성의 상위 순위에서 비례적 구성 비율을 확보하면서도 원래의 정당성 기반 순위에서의 순위 이격도를 최소화한다.
• 독일 신용 리스크 데이터셋에서는 나이 기반 보호 그룹에 대해 공정성 제약 조건을 충족시키면서도 높은 nDCG 점수(순위 유용성 측정 지표)를 유지한다.
• 모든 평가된 상위-k 및 연속된 순위 간격(예: 1–20, 21–60, 61–100 순위)에서 기준 대비 알고리즘이 underranking과 그룹 간 공정성 양면에서 뛰어난 성능을 보인다.
• 정확한 동적 프로그래밍 기준 대비 알고리즘이 훨씬 더 빠르게 실행되어 실시간 또는 대규모 환경에 적용 가능한 실용성을 확보한다.
• 실증 결과는 underranking과 그룹 간 공정성 간의 이론적 트레이드오프를 확인하며, 제안된 알고리즘이 이 트레이드오프에서 거의 최적의 성능을 달성함을 입증한다.