[논문 리뷰] FAIR: Fairness-Aware Information Retrieval Evaluation

Ruoyuan Gao, Yingqiang Ge외 1명|arXiv (Cornell University)|2021. 06. 16.

Mobile Crowdsensing and Crowdsourcing참고 문헌 30인용 수 5

한 줄 요약

이 논문은 정합성, 다양성, 신선도, 공정성을 하나의 평가 프레임워크로 통합하는 통합적 평가 지표 FAIR를 제안한다. KL-발산 기반의 가중치를 통해 유용성과 공정성을 결합함으로써 FAIR는 랭킹 알고리즘의 공동 최적화를 가능하게 하여, 다양한 데이터셋에서의 실험에서 사용자 유용성과 하위주제에 대한 공정한 노출 간의 균형을 향상시킴을 보여준다.

ABSTRACT

With the emerging needs of creating fairness-aware solutions for search and recommendation systems, a daunting challenge exists of evaluating such solutions. While many of the traditional information retrieval (IR) metrics can capture the relevance, diversity, and novelty for the utility with respect to users, they are not suitable for inferring whether the presented results are fair from the perspective of responsible information exposure. On the other hand, existing fairness metrics do not account for user utility or do not measure it adequately. To address this problem, we propose a new metric called FAIR. By unifying standard IR metrics and fairness measures into an integrated metric, this metric offers a new perspective for evaluating fairness-aware ranking results. Based on this metric, we developed an effective ranking algorithm that jointly optimized user utility and fairness. The experimental results showed that our FAIR metric could highlight results with good user utility and fair information exposure. We showed how FAIR related to a set of existing utility and fairness metrics and demonstrated the effectiveness of our FAIR-based algorithm. We believe our work opens up a new direction of pursuing a metric for evaluating and implementing the FAIR systems.

연구 동기 및 목표

• 정보 검색 시스템에서 사용자 유용성과 공정성을 동시에 평가할 수 있는 통합적 지표의 부재를 해결하기 위해.
• 기존 지표들이 유용성과 공정성을 별도로 평가하여 알고리즘 설계에서 최적의 트레이드오프를 이룰 수 없게 하는 한계를 극복하기 위해.
• 랭킹 알고리즘에서 유용성과 공정성을 공동 최적화할 수 있는 계산적으로 실현 가능한 평가 프레임워크를 개발하기 위해.
• 시스템 설계자와 정책 입안자들이 관련성과 공정한 정보 노출 간의 트레이드오프를 평가하고 이끌 수 있도록 도구를 제공하기 위해.

제안 방법

• FAIR는 표준 IR 지표인 관련성, 다양성, 신선도를 위치 할인과 다양성 편향에 따라 통합하여 단일 점수로 조합한다.
• 지표는 KL-발산을 사용하여 공정성 정책에서의 편차를 측정하며, 결과 내 하위주제에 대한 공정한 노출 정도를 정량화한다.
• 유용성(RBP 기반)과 공정성(KL-발산 기반)의 가중 조합이 FAIR 점수를 형성하여 공동 최적화를 가능하게 한다.
• 관련성, 다양성, 공정한 하위주제 노출을 균형 있게 유지하면서 FAIR 점수를 최대화하는 최적화 알고리즘을 개발한다.
• 다양한 유용성 및 공정성 지표를 프레임워크에 통합할 수 있도록 설계되어 평가의 유연성을 제공한다.
• 실세계 데이터셋(예: TREC Web Track)을 대상으로 실험하여 다양한 구성 조건 하에서 지표와 알고리즘의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 정보 검색 시스템에서 하나의 통합 지표를 통해 공정성과 유용성을 공동 평가할 수 있는 방법은 무엇인가?
• RQ2 FAIR와 같은 통합 지표가 사용자 유용성과 공정한 정보 노출 간의 트레이드오프를 어느 정도 잘 반영할 수 있는가?
• RQ3 FAIR 기반 최적화 알고리즘이 기준 대비 더 높은 성능을 유용성과 공정성 측면에서 달성할 수 있는가?
• RQ4 기존의 공정성 및 유용성 지표와 비교해 FAIR는 균형 잡힌, 공정한, 관련성이 높은 결과를 어떻게 더 잘 드러내는가?

주요 결과

• FAIR 지표는 사용자 유용성과 공정성 간의 균형을 성공적으로 반영하여, 단일 지표로는 성능을 반영하지 못하는 시스템 전반의 성능을 더 잘 반영한다.
• FAIR 기반 최적화 알고리즘은 기준 알고리즘보다 높은 관련성(RBP 기반 측정)과 더 나은 공정성(KL-발산 기반 측정)을 달성했다.
• TREC Web 데이터셋에서의 실험 결과, FAIR 기반 랭킹은 유용성을 포기하지 않으면서도 공정성을 향상시켜 효과적인 트레이드오프 관리가 가능함을 입증했다.
• 지표는 특히 소수의 하위주제에 대해 강력한 유용성과 공정한 노출을 보이는 결과를 강조했다.
• 두 알고리즘이 동일한 FAIR 점수를 가졌더라도, 개별 유용성 및 공정성 점수와 조합함으로써 지표는 이를 구분할 수 있었으며, 이는 더 깊이 있는 분석을 가능하게 했다.
• 이 프레임워크는 고정된 가중치를 제시하지 않기 때문에 정책 입안자와 설계자들이 공정성-유용성 트레이드오프를 평가하고 이끌 수 있도록 지원하며, 더 유연한 의사결정을 가능하게 한다.