[논문 리뷰] Quantifying the Impact of User Attention on Fair Group Representation in Ranked Lists

Piotr Sapieżyński, Wesley Zeng외 3명|arXiv (Cornell University)|2019. 01. 29.

Electoral Systems and Political Participation인용 수 8

한 줄 요약

이 논문은 고정된 할인 함수(예: 로그 또는 기하학적 할인)를 가정하는 대신 매개변수화된 분포를 통해 사용자 주의를 모델링함으로써 순위 목록의 그룹 형평성에 대한 감사 기준으로 새로운 지표인 Viable-Λ 테스트를 제안한다. 이는 동일한 순위 목록이 주의 모델에 따라 공정하거나 편향된 것으로 보일 수 있음을 보여주며, 알고리즘 편향에 대한 오해를 피하기 위해 공정성 평가가 사용자 행동과 서비스 환경을 반드시 고려해야 한다는 점을 강조한다.

ABSTRACT

In this work, we introduce a novel metric for auditing group fairness in ranked lists. Our approach offers two benefits compared to the state of the art. First, we offer a blueprint for modeling of user attention. Rather than assuming a logarithmic loss in importance as a function of the rank, we can account for varying user behaviors through parametrization. For example, we expect a user to see more items during a viewing of a social media feed than when they inspect the results list of a single web search query. Second, we allow non-binary protected attributes to enable investigating inherently continuous attributes (\\eg political alignment on the liberal to conservative spectrum) as well as to facilitate measurements across aggregated sets of search results, rather than separately for each result list. By combining these two elements into our metric, we are able to better address the human factors inherent in this problem. We measure the whole sociotechnical system, consisting of a ranking algorithm and individuals using it, instead of exclusively focusing on the ranking algorithm. Finally, we use our metric to perform three simulated fairness audits. We show that determining fairness of a ranked output necessitates knowledge (or a model) of the end-users of the particular service. Depending on their attention distribution function, a fixed ranking of results can appear biased both in favor and against a protected group.

연구 동기 및 목표

• 고정된 할인 함수보다 현실적인 사용자 주의 모델링을 통해 공정한 순위 매기기 연구의 격차를 해소하기 위해.
• 다양한 서비스(예: 소셜 미디어 대비 검색 엔진) 간 사용자 행동의 변화를 반영할 수 있는 순위 목록의 공정성 감사를 가능하게 하기 위해.
• 이진 그룹 분류를 넘어서 비이진 및 연속형 보호 속성(예: 정치적 성향)을 공정성 평가에 통합할 수 있도록 하기 위해.
• 공정성 평가에서 순위 알고리즘 자체에만 초점을 맞추는 것이 아니라, 순위 매기기 + 사용자 행동의 사회기술적 시스템으로의 초점을 이동시키기 위해.
• 공정성 결론이 가정된 주의 분포에 매우 민감함을 보여주며, 이는 맥락 인식 기반 감사가 필수적임을 시사하기 위해.

제안 방법

• 사용자 주의 분포 P(Λ)가 존재할 수 있는지 평가하는 Viable-Λ 테스트를 제안하며, 이는 순위 목록이 그룹 형평성을 달성할 수 있는지를 판단하는 지표이다.
• 다양한 사용자 행동을 표현하기 위해 매개변수화된 주의 모델(예: 잘린 기하 분포)을 사용하며, 주의 감쇠를 제어하는 매개변수 λ₁,…,λₘ를 포함한다.
• 관측된 상위-k 결과로부터 유도된 인구 추정치 p̂ 를 사용하여 전체 결과 집합에서 보호 그룹 구성원의 진정한 비율을 추정한다.
• 실제 검색 결과(예: 'obamacare continue', 'medicare reform')를 사용한 시뮬레이션 감사에 이 지표를 적용하여 다양한 주의 모델에서의 성능을 평가한다.
• 다양한 주의 가정 하에서 공정성을 정량화하기 위해 SEME(Sociotechnical Evaluation of Model Fairness) 프레임워크를 활용한다.
• 단일 고정 모델을 가정하는 것이 아니라, 어떤 타당한 주의 모델 하에서도 순위가 공정하게 간주될 수 있는지 평가함으로써, 공정성 감사를 수행한다.

실험 결과

연구 질문

• RQ1 어떤 타당한 사용자 주의 분포 하에서도 순위 목록이 그룹 형평성을 갖는다고 볼 수 있는가, 아니면 공정성은 가정된 주의 모델에 크게 의존하는가?
• RQ2 주의 분포의 형태(예: 급격한 vs. 평탄한)가 알려진 결과를 가진 순위 목록의 공정성 인식에 어떤 영향을 미치는가?
• RQ3 정치적 성향과 같이 연속적 또는 비이진 속성은 순위 목록의 공정성 지표에 얼마나 의미 있게 통합될 수 있는가?
• RQ4 주의 모델의 선택이 실세계 검색 결과에서 편향의 감지 가능성에 어떤 영향을 미치는가?
• RQ5 특정 서비스 환경에서 실제 사용자 행동을 반영하지 않는 주의 모델을 사용할 경우, 공정성 결론이 오해의 소지가 있을 수 있는가?

주요 결과

• 동일한 순위 목록이 가정된 주의 분포에 따라 보호 그룹에 유리하거나 불리하게 보일 수 있으며, 이는 공정성이 절대적인 것이 아니라 맥락에 따라 달라진다는 것을 보여준다.
• 'obamacare continue'의 경우, 급격한 주의(상위 결과에 대한 집중) 하에서는 진보적 성향으로 보이지만, 더 평탄한 주의 분포에서는 더 균형 잡힌 모습으로 보일 수 있다.
• 'medicare reform'의 경우, 상위 결과가 보수적 성향을 띠고 있어도 급격한 주의 하에서는 보수주의자들에게 유리하게 보일 수 있으나, 대부분의 결과가 진보적 성향임을 감안할 때 전체적으로는 균형 잡힌 결과로 보일 수 있다.
• Viable-Λ 테스트는 어떤 타당한 주의 모델 하에서도 순위가 공정성을 달성할 수 있는지 확인할 수 있으며, 일부 순위는 주의 형태와 관계없이 본질적으로 불공정한 것으로 드러난다.
• 고정된 주의 모델(예: 로그 또는 기하학적 할인)을 가정할 경우, 사용자 행동이 인터페이스나 작업에 따라 다를 경우 잘못된 공정성 평가로 이어질 수 있음을 입증한다.
• 지표는 동일한 순위가 서비스에 따라 공정하거나 불공정하게 보일 수 있으며, 이는 공정성 감사가 서비스 특화된 사용자 행동을 반드시 반영해야 한다는 점을 드러낸다.