[논문 리뷰] Fairness in Ranking: A Survey

Meike Zehlike, Ke Yang외 1명|arXiv (Cornell University)|2021. 03. 25.

Auction Theory and Applications참고 문헌 66인용 수 29

한 줄 요약

점수 기반, 감독 학습-랭크(LtR), 추천/매칭 시스템 전반에 걸친 공정성에 대한 포괄적 조사로, 가치 프레임워크와 완화 접근법의 통합 서사를 담고 있다.

ABSTRACT

In the past few years, there has been much work on incorporating fairness requirements into algorithmic rankers, with contributions coming from the data management, algorithms, information retrieval, and recommender systems communities. In this survey we give a systematic overview of this work, offering a broad perspective that connects formalizations and algorithmic approaches across subfields. An important contribution of our work is in developing a common narrative around the value frameworks that motivate specific fairness-enhancing interventions in ranking. This allows us to unify the presentation of mitigation objectives and of algorithmic techniques to help meet those objectives or identify trade-offs. In this survey, we describe four classification frameworks for fairness-enhancing interventions, along which we relate the technical methods surveyed in this paper, discuss evaluation datasets, and present technical work on fairness in score-based ranking. Then, we present methods that incorporate fairness in supervised learning, and also give representative examples of recent work on fairness in recommendation and matchmaking systems. We also discuss evaluation frameworks for fair score-based ranking and fair learning-to-rank, and draw a set of recommendations for the evaluation of fair ranking methods.

연구 동기 및 목표

• 데이터 관리, 알고리즘, 정보 검색 및 추천 시스템에 걸친 랭킹의 공정성에 대한 체계적 개요를 제공한다.
• 랭킹의 공정성에 대한 공통 서사를 통해 완화 목표와 알고리즘 기법을 통합한다.
• 공정성 향상을 위한 네 가지 분류 프레임워크를 제시하고 이를 조사된 방법들과 연계한다.
• 점수 기반 랭킹, LtR 및 추천 시스템에서의 공정성에 대한 평가 데이터셋과 대표 연구를 논의한다.
• 공정한 랭킹 방법의 평가에 대한 권고와 향후 연구 방향을 제시한다.

제안 방법

• 점수 기반 랭킹을 설명하고 top-k 및 그룹별 유틸리티로 유용성을 형식화한다.
• 상위-k에서의 비례 대표성과 접두사들에 대한 공정성 측정치를 도입하고 다양성/커버리지 개념을 논의한다.
• 확률 기반 및 노출 기반 정의를 통한 공정성 평가 접근법을 제시한다.
• 감독 학습-랭크(LtR) 및 그 학습/테스트 파이프라인을 설명하고, 정확도 지표로 NDCG와 MAP를 포함한다.
• 학습 데이터에서 학습된 편향을 완화하기 위한 LtR의 공정성 개입을 논의한다.
• 추천 시스템 및 매칭에서의 공정성에 대한 대표적 예를 제시한다.

실험 결과

연구 질문

• RQ1 하위 분야 전반에서 랭킹의 공정성을 달성하기 위해 사용되는 규범적 목표와 실용적 완화 목표는 무엇인가?
• RQ2 점수 기반 랭킹, LtR, 그리고 추천 시스템 전반에 걸쳐 공정성 개입을 어떻게 분류하고 연결하고 있는가?
• RQ3 공정한 랭킹을 지원하는 평가 프레임워크와 데이터셋은 무엇이며, 공정한 랭킹 방법을 평가하기 위한 제언은 무엇이 제시되는가?
• RQ4 랭킹 맥락에서 인구 수준의 공정성 개념과 노출 기반 공정성 개념은 어떻게 비교되는가?

주요 결과

• 이 연구는 랭킹의 하위 분야 전반에 걸친 공정성 개념을 연결하는 폭넓고 통합된 시각을 제공한다.
• 공정성 향상을 위한 네 가지 분류 프레임워크를 설명하고 이를 기술적 방법과 연결한다.
• 점수 기반 및 LtR 공정성에 대해 논의하고 추천 시스템 및 매칭에서의 대표적 공정성 연구를 강조한다.
• 공정한 랭킹 방법을 평가하기 위한 평가 프레임워크, 데이터셋, 및 실용적 권고를 강조한다.
• 랭킹의 공정성은 가치에 좌우되고 맥락 의존적이며 순수한 기술적 구성물이 아님을 밝힌다.