[논문 리뷰] Equality of Voice: Towards Fair Representation in Crowdsourced Top-K Recommendations

Abhijnan Chakraborty, Gourab K Patro외 3명|arXiv (Cornell University)|2018. 11. 21.

Recommender Systems and Techniques참고 문헌 34인용 수 6

한 줄 요약

이 논문은 트위터 트렌드나 뉴스 헤드라인과 같은 커뮤니티 기반의 상위 K개 추천에 대해, 단일 이동 투표(STV) 제도를 사용하여 다수결 투표로 모델링함으로써 공정한 접근 방식을 제안한다. 개인화된 순위 모델을 통해 침묵하는 사용자의 선호도를 추론함으로써 STV는 비례 대표제를 보장하고 조작에 저항하여 인구 통계적 편향을 크게 줄이며, 다수의 선호를 반영하면서도 극단적인 반감을 가진 콘텐츠를 배제한다.

ABSTRACT

To help their users to discover important items at a particular time, major websites like Twitter, Yelp, TripAdvisor or NYTimes provide Top-K recommendations (e.g., 10 Trending Topics, Top 5 Hotels in Paris or 10 Most Viewed News Stories), which rely on crowdsourced popularity signals to select the items. However, different sections of a crowd may have different preferences, and there is a large silent majority who do not explicitly express their opinion. Also, the crowd often consists of actors like bots, spammers, or people running orchestrated campaigns. Recommendation algorithms today largely do not consider such nuances, hence are vulnerable to strategic manipulation by small but hyper-active user groups. To fairly aggregate the preferences of all users while recommending top-K items, we borrow ideas from prior research on social choice theory, and identify a voting mechanism called Single Transferable Vote (STV) as having many of the fairness properties we desire in top-K item (s)elections. We develop an innovative mechanism to attribute preferences of silent majority which also make STV completely operational. We show the generalizability of our approach by implementing it on two different real-world datasets. Through extensive experimentation and comparison with state-of-the-art techniques, we show that our proposed approach provides maximum user satisfaction, and cuts down drastically on items disliked by most but hyper-actively promoted by a few users.

연구 동기 및 목표

• 트위터 트렌드나 상위 뉴스 기사와 같은 비개인화된 커뮤니티 기반 상위 K개 추천에서의 공정성 문제를 해결하기 위해.
• 항목 선정 과정에서 비례 대표제와 다수결 반대 공정성을 보장하는 선거 메커니즘을 특정하기 위해.
• 모든 사용자가 완전한 선호 순위를 제출하는 것이 비현실적임에도 불구하고, 실세계 시스템에 STV를 실용적으로 구현할 수 있도록 하기 위해.
• 직접 투표하지는 않지만 여전히 선호도를 가진 침묵하는 다수의 사용자를 고려하기 위해.
• 공정성 중심의 투표 메커니즘을 통해 추천 시스템에서의 인구 통계적 편향과 전략적 조작을 줄이기 위해.

제안 방법

• 항목을 후보자로, 사용자 선호도를 투표로 간주하여 상위 K개 추천를 다수결 투표 과정으로 모델링한다.
• 비례 대표제와 극단주의 후보자에 대한 저항성 등 공정성 특성을 지닌 단일 이동 투표(STV) 메커니즘을 채택한다.
• 기존의 개인화된 추천 모델을 활용해 침묵하는 사용자의 완전한 선호 순위를 추론함으로써 직접적인 사용자 입력을 회피한다.
• 트위터와 어드레사(Adressa)의 실세계 데이터를 사용하여 STV를 다수결 투표 및 기타 메커니즘과 비교해 시뮬레이션한다.
• 침묵하는 사용자의 추론된 순위를 사용하여 STV를 적용해 상위 K개 항목을 선정함으로써, 명시적인 완전한 순위 입력 없이도 공정성 기준을 충족시킨다.
• 인구 통계적 편향 지표와 사용자 만족도를 사용하여 공정성을 평가하고, STV를 최신 추천 방법과 비교한다.

실험 결과

연구 질문

• RQ1 상위 K개 추천를 다수결 투표 과정으로 모델링함으로써 공정성과 인구 통계적 편향을 향상시킬 수 있는가?
• RQ2 STV는 다수결 기반 투표 및 기존 추천 시스템보다 광범위한 대중의 선호를 반영하는 항목을 더 잘 촉진하는가?
• RQ3 침묵하는 사용자의 선호 순위를 효과적으로 추론하여 실세계 시스템에서 STV의 실용성을 확보할 수 있는가?
• RQ4 소규모이지만 초활동적인 사용자 그룹이나 봇이 조작을 시도할 경우 STV는 어느 정도 저항할 수 있는가?
• RQ5 STV 기반 추천는 매우 불호하는 콘텐츠를 과도하게 홍보하는 것을 최소화하면서도 사용자 만족도를 극대화할 수 있는가?

주요 결과

• STV 기반 추천는 트위터의 내장 알고리즘과 다수결 투표 시스템보다 유의미하게 낮은 인구 통계적 편향을 보였다.
• STV 메커니즘은 비례 대표제를 달성하여 대부분의 사용자가 선호하는 주제 중 최소 하나 이상이 상위 K개 목록에 포함됨을 보장했다.
• STV는 소규모 활동 사용자 그룹이 자주 홍보하는 극단적이고 매우 불쾌감을 주는 주제를 효과적으로 거부했다.
• 항목 홍보에 광범위하고 분산된 지지가 필요하기 때문에, 봇과 조직된 캠페인의 영향력을 줄였다.
• 침묵하는 다수의 선호도와의 일치도 향상으로 인해 사용자 만족도가 STV에서 최대화되었다.
• 트위터와 어드레사 데이터셋에 대한 실증 평가에서 STV*(추론된 선호도를 사용)가 WV 및 TT 방법보다 공정성과 대표성 측면에서 뛰어난 성능을 보였다.