[논문 리뷰] The Impact of Popularity Bias on Fairness and Calibration in Recommendation

Himan Abdollahpouri, Masoud Mansoury외 2명|arXiv (Cornell University)|2019. 10. 13.

Recommender Systems and Techniques참고 문헌 20인용 수 19

한 줄 요약

이 논문은 추천 알고리즘에서의 인기 편향이 사용자 진짜 선호도에서 벗어나게 되는 '비교정성'(miscalibration)을 유도하는 방식을 조사한다. 특히 인기 항목에 관심이 적은 사용자에게서 이 문제가 더 두드러진다. 알고리즘의 인기 편향(인기 항목 상승률로 측정)과 비교정성 증가 사이에 강한 상관관계가 있음을 입증하며, 이는 이웃 기반 알고리즘이 인공지능 기반 방법보다 더 높은 편향과 비교정성을 보임을 시사한다.

ABSTRACT

Recently there has been a growing interest in fairness-aware recommender systems, including fairness in providing consistent performance across different users or groups of users. A recommender system could be considered unfair if the recommendations do not fairly represent the tastes of a certain group of users while other groups receive recommendations that are consistent with their preferences. In this paper, we use a metric called miscalibration for measuring how a recommendation algorithm is responsive to users' true preferences and we consider how various algorithms may result in different degrees of miscalibration. A well-known type of bias in recommendation is popularity bias where few popular items are over-represented in recommendations, while the majority of other items do not get significant exposure. We conjecture that popularity bias is one important factor leading to miscalibration in recommendation. Our experimental results using two real-world datasets show that there is a strong correlation between how different user groups are affected by algorithmic popularity bias and their level of interest in popular items. Moreover, we show algorithms with greater popularity bias amplification tend to have greater miscalibration.

연구 동기 및 목표

• 추천 시스템에서 인기 편향이 공정성과 비교정성에 미치는 영향을 조사하는 것.
• 인기 항목에 관심이 낮은 사용자가 알고리즘의 인기 편향으로 인해 더 심하게 영향을 받는지 여부를 검토하는 것.
• 다양한 추천 알고리즘 간의 인기 항목 상승률과 비교정성 간의 관계를 분석하는 것.
• 특히 사용자 집단 간의 차이를 중심으로 공정성과 비교정성 측면에서 다양한 알고리즘의 성능을 비교하는 것.
• 인기 편향이 추천 시스템에서 비교정성의 근본 원인인지 탐색하는 것.

제안 방법

• 인기 항목 상승률 지표를 사용해 인기 편향을 측정하였으며, 이는 추천된 항목의 평균 인기도를 입력된 인기도로 나눈 비율로 정의된다.
• 비교정성은 사용자의 평가 이력에서 장르 분포와 추천된 항목의 장르 분포 간의 편차로 정량화하였다.
• MovieLens 데이터셋을 대상으로 여러 추천 알고리즘(예: ItemKNN, UserKNN, SVD++, BMF, Most-Popular)을 평가하였다.
• 사용자를 인기 항목에 대한 관심 수준에 따라 그룹화하여(예: 남성 대 비여성) 인기 편향의 차별적 영향을 평가하였다.
• 통계적 유의성 검정(p < 0.05)을 사용해 사용자 집단 및 알고리즘 간 비교정성과 인기 항목 상승률을 비교하였다.
• 다양한 알고리즘과 사용자 세그먼트 간 인기 항목 상승률과 비교정성 간 상관관계를 분석하였다.

실험 결과

연구 질문

• RQ1 알고리즘의 인기 편향은 다양한 사용자 집단의 추천에서 비교정성에 어떻게 영향을 미치는가?
• RQ2 인기 항목에 관심이 낮은 사용자는 관심이 높은 사용자보다 인기 편향으로 인해 더 심하게 영향을 받는가?
• RQ3 다양한 추천 알고리즘 간 인기 항목 상승률과 총 비교정성 간에 유의미한 상관관계가 있는가?
• RQ4 이웃 기반 알고리즘과 인공지능 기반 알고리즘 등 특정 유형의 알고리즘이 다른 것들보다 더 높은 인기 편향과 비교정성을 증폭시키는가?
• RQ5 비교정성 집단 간의 차이를 측정했을 때, 인기 편향이 추천 시스템에서의 불공정한 대우에 얼마나 기여하는가?

주요 결과

• 인기 항목에 관심이 낮은 사용자는 인기 항목 상승률이 유의미하게 높아, 알고리즘의 인기 편향에 더 많이 노출됨을 보여준다.
• MovieLens 데이터셋에서 인기 항목에 관심이 낮은 그룹(여성)은 남성(1.76)보다 더 높은 인기 항목 상승률(1.91)을 보이며, 이는 편향 증폭이 더 심함을 시사한다.
• 이 그룹은 남성(0.42) 대비 더 높은 비교정성(0.48)을 보이며, 추천이 그들의 진짜 선호도와 더 어긋남을 나타낸다.
• 인기 항목 상승률과 비교정성 간에 강한 양의 상관관계가 존재한다: 인기 항목 상승률이 높은 알고리즘(예: Most-Popular, 1.91)은 더 높은 비교정성(0.48)을 보였다.
• 이웃 기반 알고리즘(예: ItemKNN, UserKNN)은 SVD++ 및 BMF와 같은 인공지능 기반 방법보다 더 높은 인기 항목 상승률과 비교정성을 보였다.
• SVD++와 BMF는 각각 0.33과 0.87의 가장 낮은 인기 항목 상승률을 보이며 가장 비교정성이 높아, 인기 편향에 더 강건함을 나타냈다.