[논문 리뷰] Overview of the TREC 2020 Fair Ranking Track

Asia J. Biega, Fernando Díaz외 3명|arXiv (Cornell University)|2021. 08. 11.

Ethics and Social Impacts of AI참고 문헌 11인용 수 7

한 줄 요약

이 논문은 학술 검색에서 정렬의 정당성과 관련성을 균형 잡는 데 초점을 맞춘 TREC 2020 Fair Ranking Track를 제시한다. 이는 경제 개발 수준(개발된 vs. 개발이 미친 경제권)에 따라 정의된 저자 집단의 노출을 최적화함으로써 평등성을 평가한다. 최고 성능을 보인 시스템들은 외부 데이터(예: Google Scholar)와 질의 수준의 순열을 활용하여 노출의 불균형을 줄였으며, 재정렬 작업에서 최소 $Δ_{\mathcal{G}}$ 값 0.428를 달성했다.

ABSTRACT

This paper provides an overview of the NIST TREC 2020 Fair Ranking track. For 2020, we again adopted an academic search task, where we have a corpus of academic article abstracts and queries submitted to a production academic search engine. The central goal of the Fair Ranking track is to provide fair exposure to different groups of authors (a group fairness framing). We recognize that there may be multiple group definitions (e.g. based on demographics, stature, topic) and hoped for the systems to be robust to these. We expected participants to develop systems that optimize for fairness and relevance for arbitrary group definitions, and did not reveal the exact group definitions until after the evaluation runs were submitted.The track contains two tasks,reranking and retrieval, with a shared evaluation.

연구 동기 및 목표

• 학술 검색에서 관련성과 정당성을 균형 잡는 랭킹 시스템을 평가하고, 특히 다양한 경제 개발 배경을 가진 저자들에게 공정한 노출를 확보하는 것.
• 그룹 정의가 알려지지 않은 상황에서 시스템의 강건성을 평가하기 위해 그룹 레이블을 평가 이후에 제공하는 것.
• 브라우징 모델과 지표 기반 평가를 통해 저자 집단 간 기대 노출 불균형을 측정하고 최적화하는 것.
• 관련성을 희생시키지 않고도 정당성 향상을 위해 외부 데이터와 질의 수준의 무작위화를 활용하도록 장려하는 것.
• 실제 코퍼스와 질의 데이터를 사용하여 학술 검색에서 공정한 랭킹을 위한 표준화된 벤치마크를 제공하는 것.

제안 방법

• 각 저자의 문서 위치와 관련성에 기반해 기대 노출를 계산하기 위해 할인 요소 $\gamma = 0.5$를 사용한 브라우징 모델을 사용하였다.
• 저자 집단 할당을 국가 및 경제 개발 수준에 기반해 정의한 바, 집단 노출 $\mathcal{E}_g$ 는 집단 $g$ 내의 개별 저자 노출의 합으로 정의되었다.
• 평가 시스템은 $\Delta_{\mathcal{G}} = \left(\sum_{g\in\mathcal{G}}(\mathcal{E}_g - \mathcal{E}_g^*)^2\right)^{1/2}$ 를 사용하였으며, 여기서 $\mathcal{E}_g^*$ 는 관련성 저하 순열 정책으로 유도된 목표 노출이다.
• 논문 메타데이터, 저자 데이터, 인용 네트워크를 포함한 186GB의 Semantic Scholar Open Corpus 코퍼스를 제공하였다.
• 실제 질의 인상 변동을 모델링하기 위해 각 질의에 대해 여러 개의 랭킹을 허용하였으며, 시스템은 테스트 재정렬 세트를 검색 학습에 사용하지 않도록 요구되었다.
• 공유된 질의를 사용하여 재정렬(질의 기반 문서 재정렬) 및 검색(100개 문서의 코퍼스 수준 랭킹) 작업을 함께 평가할 수 있도록 하였다.

실험 결과

연구 질문

• RQ1 그룹 정의가 사전에 알려지지 않은 상황에서, 다양한 경제 개발 수준의 저자 집단 간 공정한 노출 분배를 위한 랭킹 시스템을 어떻게 설계할 수 있는가?
• RQ2 외부 데이터 소스(예: Google Scholar, 미사전처리 임베딩)는 학술 검색 랭킹의 정당성 향상에 어느 정도 기여할 수 있는가?
• RQ3 공정한 랭킹에서 관련성과 노출 불균형 사이의 상호 교환 관계는 무엇이며, 이를 정량적으로 측정하고 최적화할 수 있는가?
• RQ4 질의 수준의 순열 및 무작위화 전략은 저자 집단 간 노출 불균형을 줄이는 데 얼마나 효과적인가?
• RQ5 정당성 인식 목표를 가진 러닝-투-랭킹 모델은 학술 검색에서 관련성과 정당성의 균형을 더 잘 달성할 수 있는가?

주요 결과

• 최고 성능을 보인 재정렬 시스템(NLE_META_9_1)은 $\Delta_{\mathcal{G}}$ 값 0.428을 기록하여 노출 불균형이 최소화된 높은 수준의 정당성을 보였다.
• 외부 데이터(예: Google Scholar)와 질의 수준의 순열(예: 무작위화 또는 분할 처리)을 활용한 시스템들이 내부 특징에만 의존하는 시스템보다 일관되게 뛰어난 성능을 보였다.
• 상위 재정렬 런은 높은 관련성과 낮은 불균형을 보였으며, 이는 정당성 향상의 주요 원인이 노출 불균형 감소에 기인했음을 시사한다.
• 검색 작업에서는 더 높은 $\Delta_{\mathcal{G}}$ 값이 관찰되었으며, 최고 성능 런(UW_t_bm25)은 0.748을 기록하여 스케일링 시 정당성 균형을 이루는 데 더 큰 과제가 있음을 보여주었다.
• 출판 연도를 특징으로 활용하고, 그래프 기반 저자 공동체를 활용한 그룹 탐지 전략은 상위 제출물에서 정당성 향상에 기여한 혁신적인 전략이었다.
• 각 질의에 대해 여러 개의 랭킹을 활용함으로써 실세계의 노출 동역학을 더 잘 모델링하고 정당성 평가 정확도를 향상시킬 수 있었다.