[논문 리뷰] Fairness and Diversity for Rankings in Two-Sided Markets.

Lequn Wang, Thorsten Joachims|arXiv (Cornell University)|2020. 10. 04.

Game Theory and Voting Systems참고 문헌 60인용 수 7

한 줄 요약

이 논문은 두 측면 시장에서 사용자 공정성, 아이템 공정성, 다양성을 동시에 최적화하는 최초의 랭킹 알고리즘을 제안한다. 공정성을 볼록 최적화 문제로 공식화하고, 새로운 Birkhoff-von Neumann 분해를 통해 랭킹 정책을 유도한다. 이 방법은 사용자 집단과 아이템 간 균형 잡힌 노출을 달성하면서도 다양성을 명시적으로 제어할 수 있으며, 새로운 벤치마크 데이터셋에서의 실증적 검증을 통해 세 가지 바람직한 성질 간 효과적인 트레이드오프를 보여준다.

ABSTRACT

Ranking items by their probability of relevance has long been the goal of conventional ranking systems. While this maximizes traditional criteria of ranking performance, there is a growing understanding that it is an oversimplification in online platforms that serve not only a diverse user population, but also the producers of the items. In particular, ranking algorithms are expected to be fair in how they serve all groups of users -- not just the majority group -- and they also need to be fair in how they divide exposure among the items. These fairness considerations can partially be met by adding diversity to the rankings, as done in several recent works. However, we show in this paper that user fairness, item fairness and diversity are fundamentally different concepts. In particular, we find that algorithms that consider only one of the three desiderata can fail to satisfy and even harm the other two. To overcome this shortcoming, we present the first ranking algorithm that explicitly enforces all three desiderata. The algorithm optimizes user and item fairness as a convex optimization problem which can be solved optimally. From its solution, a ranking policy can be derived via a novel Birkhoff-von Neumann decomposition algorithm that optimizes diversity. Beyond the theoretical analysis, we investigate empirically on a new benchmark dataset how effectively the proposed ranking algorithm can control user fairness, item fairness and diversity, as well as the trade-offs between them.

연구 동기 및 목표

• 두 측면 온라인 플랫폼에서 관련성에 초점을 맞추는 기존 랭킹 시스템의 한계를 해결하기 위해, 공정성과 다양성의 손실을 초래하는 바람에 발생하는 문제를 다루기 위해.
• 랭킹 시스템에서 종종 상충되는 세 가지 별개의 목표인 사용자 공정성, 아이템 공정성, 다양성 간의 개념적 차이를 명확히 하고 상호작용을 조율하기 위해.
• 세 가지 기준을 동시에 명시적으로 강제하는 통합 알고리즘을 개발하여, 한 요소를 희생시키는 트레이드오프를 피하기 위해.
• 볼록 최적화와 새로운 분해 방법을 통해 공정성과 다양성에 대한 이론적으로 탄탄한 최적 해를 제공하기 위해.
• 새로운 벤치마크 데이터셋을 활용해 알고리즘의 성능을 실증적으로 평가하고, 공정성 및 다양성 메트릭스 제어 능력을 측정하기 위해.

제안 방법

• 사용자 및 아이템 공정성을 볼록 최적화 문제의 제약 조건으로 공식화하여, 사용자 집단과 아이템 간 균형 잡힌 노출을 보장한다.
• 최적 해에서 랭킹 정책을 도출하기 위해 새로운 Birkhoff-von Neumann 분해 알고리즘을 사용하여, 랭킹 출력에서 다양성을 명시적으로 최적화한다.
• 랭킹 정책을 순열 행렬의 볼록 조합으로 표현함으로써, 아이템 노출 분포에 대한 정밀한 제어를 가능하게 한다.
• 공정성과 다양성 목표를 하나의 최적화 프레임워크에 통합하여, 조정 가능한 가중치 파rameter를 통해 트레이드오프 분석이 가능하도록 한다.
• 알고리즘의 성능을 다양한 구성 조건에서 평가하기 위해 새로운 벤치마크 데이터셋을 활용한다.
• 최적화 문제를 전역 최적화로 해결하여, 공정성 및 다양성 준수에 대한 이론적 보장을 확보한다.

실험 결과

연구 질문

• RQ1 사용자 공정성, 아이템 공정성, 다양성은 개념적으로 어떻게 다를까? 그리고 오직 하나 또는 두 가지만 최적화하는 데서 발생하는 위험은 무엇인가?
• RQ2 단일 랭킹 알고리즘이 사용자 공정성, 아이템 공정성, 다양성을 동시에 충족시킬 수 있는가? 손상 없이?
• RQ3 랭킹 시스템에서 사용자 공정성, 아이템 공정성, 다양성 간의 트레이드오프의 본질은 무엇인가?
• RQ4 새로운 벤치마크 데이터셋에서 측정된 바탕으로, 제안된 알고리즘이 실질적으로 이 세 가지 바람직한 성질을 얼마나 효과적으로 제어하는가?
• RQ5 Birkhoff-von Neumann 분해가 공정성 제약 조건을 유지하면서도 최적의 다양성 제어를 얼마나 잘 가능하게 하는가?

주요 결과

• 제안된 알고리즘은 사용자 공정성, 아이템 공정성, 다양성이라는 세 가지 바람직한 성질을 동시에 충족시키며, 오직 하나 또는 두 가지만 최적화하는 방법에서 관찰되는 성능 저하를 피한다.
• 볼록 최적화 공식화는 이론적 보장을 바탕으로 공정성 제약 조건을 충족하는 최적의 해를 보장한다.
• 새로운 Birkhoff-von Neumann 분해 방법은 순열의 볼록 조합으로 랭킹 정책을 표현함으로써 다양성에 대한 정밀한 제어를 가능하게 한다.
• 새로운 벤치마크 데이터셋에서의 실증적 평가 결과, 알고리즘이 다양한 구성 조건에서 공정성 및 다양성 메트릭스를 효과적으로 조절할 수 있음을 확인하였다.
• 이 방법은 세 목표 간에 비트레이드오프가 존재함을 드러내며, 명시적인 균형 조정이 이루어지지 않으면 한 목표를 최적화하는 것이 다른 목표에 악영향을 줄 수 있음을 보여준다.
• 알고리즘은 사용자 집단과 아이템 간 균형 잡힌 노출을 유지하면서도 높은 다양성을 달성함으로써 베이스라인 방법보다 뛰어난 성능을 보였다.