[논문 리뷰] Comparing Fair Ranking Metrics

Amifa Raj, Michael D. Ekstrand|arXiv (Cornell University)|2020. 09. 02.

Recommender Systems and Techniques참고 문헌 19인용 수 5

한 줄 요약

이 논문은 검색 및 추천 데이터셋에서 설계, 가정 및 실증적 성능 측면에서 순위 지정 정보 검색 시스템을 위한 공정성 메트릭의 통합 비교를 제공한다. 순위 시스템의 순서에 있어 메트릭 간의 상당한 이견이 발견되었으며, EEL과 AWRFΔ가 가장 일관된 일致를 보였고, 일반적 사용에는 AWRFΔ를, 순서에서의 민족적 균형을 측정하는 데에는 EED를 권장한다.

ABSTRACT

Ranked lists are frequently used by information retrieval (IR) systems to present results believed to be relevant to the users information need. Fairness is a relatively new but important aspect of these rankings to measure, joining a rich set of metrics that go beyond traditional accuracy or utility constructs to provide a more holistic understanding of IR system behavior. In the last few years, several metrics have been proposed to quantify the (un)fairness of rankings, particularly with respect to particular group(s) of content providers, but comparative analyses of these metrics -- particularly for IR -- is lacking. There is limited guidance, therefore, to decide what fairness metrics are applicable to a specific scenario, or assessment of the extent to which metrics agree or disagree applied to real data. In this paper, we describe several fair ranking metrics from existing literature in a common notation, enabling direct comparison of their assumptions, goals, and design choices; we then empirically compare them on multiple data sets covering both search and recommendation tasks.

연구 동기 및 목표

• 직접 비교가 가능한 동일한 표기법을 사용해 순위 지정된 IR 출력을 위한 공정성 메트릭을 통합하고 비교하기.
• 데이터 희소성 및 경계 케이스와 같은 실제 IR 실험에 적용할 때의 실용적 과제를 규명하기.
• 다양한 검색 및 추천 데이터셋에서 여러 공정성 메트릭을 실증적으로 평가하고 비교하기.
• 특정 공정성 목표 및 데이터 특성에 기반한 공정성 메트릭 선택을 위한 실질적인 권고 제공하기.

제안 방법

• 저자들은 문헌에서 유래한 13개의 공정성 메트릭을 통일된 표기법을 사용해 정형화하여 설계 선택과 가정을 직접 비교할 수 있도록 한다.
• FairTREC 및 MovieLens를 포함한 검색 및 추천 시스템의 여러 실제 데이터셋을 사용해 메트릭을 구현하고 평가한다.
• 전체 랭킹이나 관련성 점수를 요구하는 메트릭(예: PAIR)의 경우, 부분 랭킹 설정에서 적용 가능하도록 샘플링을 통해 점수를 추정한다.
• 목표 분포(균등 표현 대 데이터 기반) 및 차이 함수와 같은 다양한 구성에서 메트릭의 행동을 분석한다.
• 실험 전반에서 메트릭 순위 간 페어워이즈 스피어만의 타우 상관관계를 계산하여 일치도를 평가한다.
• 알 수 없는 그룹 소속성을 세 번째 그룹으로 간주하고 이를 고려해 구현을 조정함으로써 경계 케이스를 다룬다.

실험 결과

연구 질문

• RQ1 순위 지정된 IR 출력을 위한 다양한 공정성 메트릭은 설계, 가정 및 이론적 행동 측면에서 어떻게 비교할 수 있는가?
• RQ2 동일한 실제 검색 및 추천 데이터셋에 적용했을 때, 공정성 메트릭은 어느 정도 일치하거나 이견을 보이는가?
• RQ3 특히 데이터 희소성 및 그룹 소속 정보 누락 문제와 관련하여, 공정성 메트릭을 실제 IR 실험에 적용할 때의 실용적 과제는 무엇인가?
• RQ4 다양한 IR 작업 및 데이터셋에서 가장 일관되게 성능을 보이는 공정성 메트릭 구성은 무엇인가?
• RQ5 가중치 부여 방식 및 목표 분포와 같은 설계 선택은 메트릭의 행동과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• EEL과 AWRFΔ는 균등 노출 목표를 사용할 경우 모든 실험에서 가장 높고 일관된 상관관계를 보이며, 시스템 순서에 있어 강력한 일致를 나타낸다.
• 대부분의 공정성 메트릭 간에 상당한 이견이 관찰되었으며, 어떤 메트릭도 다양한 데이터셋에서 동일한 순서로 시스템을 랭킹하는 데 일관되게 성공하지 못했다.
• AWRFΔ는 다항형 보호 그룹, 소프트 연관성, 그리고 유연한 목표 분포를 지원하므로 일반적 사용에 적합하다고 권장된다.
• EED는 특히 경계 케이스 및 비율 기반 문제에 강건하기 때문에, 순서에서의 민족적 균형 측정에 가장 적합한 메트릭이다.
• 관련성 희소성이 문제인 경우 IAA는 다항형 그룹과 소프트 연관성을 함께 적용할 수 있어 타당한 대안이 된다.
• 이 연구는 설계 결정보(예: 차이 함수 및 목표 분포)가 메트릭 결과에 상당한 영향을 미치지만, 그 개별적 영향은 아직 명확하지 않다는 점을 드러냈다.