[논문 리뷰] Multi-sided Exposure Bias in Recommendation

Himan Abdollahpouri, Masoud Mansoury|arXiv (Cornell University)|2020. 06. 29.

Recommender Systems and Techniques참고 문헌 22인용 수 25

한 줄 요약

이 논문은 추천 시스템에서 다면적 노출 편향을 도입하여, 인기 편향이 사용자와 아이템 공급자 모두에게 비례적으로 영향을 미치는 방식을 분석한다. 사용자 중심(UPD) 및 공급자 중심(CPD) 메트릭을 제안하여 노출 불균형을 정량화하며, 사용자 인기도 캘리브레이션 향상이 공급자 공정성 향상과도 연결됨을 보여주어 정확도만으로도 공정한 노출을 확보할 수 있다는 가정에 도전한다.

ABSTRACT

Academic research in recommender systems has been greatly focusing on the accuracy-related measures of recommendations. Even when non-accuracy measures such as popularity bias, diversity, and novelty are studied, it is often solely from the users' perspective. However, many real-world recommenders are often multi-stakeholder environments in which the needs and interests of several stakeholders should be addressed in the recommendation process. In this paper, we focus on the popularity bias problem which is a well-known property of many recommendation algorithms where few popular items are over-recommended while the majority of other items do not get proportional attention and address its impact on different stakeholders. Using several recommendation algorithms and two publicly available datasets in music and movie domains, we empirically show the inherent popularity bias of the algorithms and how this bias impacts different stakeholders such as users and suppliers of the items. We also propose metrics to measure the exposure bias of recommendation algorithms from the perspective of different stakeholders.

연구 동기 및 목표

• 다면적 스테이크홀더 플랫폼에서 추천 알고리즘의 인기 편향이 사용자와 공급자에게 노출 분포에 미치는 영향을 조사하는 것.
• 스테이크홀더별 노출 불균형을 간과하는 기존 정확도 중심 평가 메트릭의 한계를 규명하는 것.
• 사용자 및 공급자 시각에서 노출 편향을 정량화하는 새로운 메트릭인 UPD 및 SPD를 제안하는 것.
• 사용자 측 인기도 이탈(UPD)을 줄이면 공급자 측 노출 불균형( SPD)도 감소함을 실증적으로 보여주어 사용자와 공급자 공정성 간의 일치를 입증하는 것.
• 사용자 중심 정확도 메트릭을 넘어서 다스터커 평가 프레임워크를 도입하여 추천 시스템의 다층적 평가를 촉진하는 것.

제안 방법

• 논문은 음악 데이터셋인 Last.fm과 영화 데이터셋인 MovieLens 1M을 사용하며, 아티스트/앨범 매핑 또는 IMDb의 감독 정보를 통해 공급자 정보를 추출한다.
• 정확도를 주요 최적화 메트릭으로 사용하여, 개인화 알고리즘 세 종류(Biased-MF, User-CF, Item-CF)와 비개인화 기반선(Most-popular)을 평가한다.
• 사용자 측 노출 불균형을 측정하기 위해, 사용자 평가에서의 아이템 인기도 분포와 추천에서의 아이템 인기도 분포 간의 Kullback-Leibler 발산을 사용자 인기도 이탈(UPD)로 정의한다.
• 공급자 측 공정성 측정을 위해, 사용자 평가에서의 공급자 인기도 분포와 추천에서의 공급자 인기도 분포 간의 KL 발산을 공급자 인기도 이탈(SPD)로 정의한다.
• UPD와 SPD는 각 사용자별로 계산된 후 테스트 세트 전체에 걸쳐 집계되어 다양한 인기도 그룹에서의 노출 공정성 전반을 평가한다.
• 통계 분석과 시각화를 통해 다양한 알고리즘과 데이터셋에서 UPD, SPD, 정확도, 카탈로그 커버리지 간의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 추천 알고리즘의 인기 편향이 다양한 취향 선호를 가진 사용자의 노출 분포에 어떻게 영향을 미치는가?
• RQ2 기존 추천 알고리즘이 사용자의 시각에서 인기 있는 아이템을 과도하게 선호함으로써 덜 인기 있는 아이템을 얼마나 과도하게 배제하는가?
• RQ3 아티스트나 감독 등 다양한 공급자에서 온 아이템의 노출가 실제 사용자 평가에서의 인기도와 얼마나 다름이 있는가?
• RQ4 사용자 측 인기도 이탈(UPD)을 줄이면 공급자 측 노출 불균형(SPD)도 개선되는가?
• RQ5 정확도(Precision)와 노출 공정성(UPD/SPD) 사이에 트레이드오프가 존재하는가? 만약 존재한다면 어떻게 균형을 이룰 수 있는가?

주요 결과

• 사용자 인기도 이탈(UPD)을 낮추면 일관되게 공급자 인기도 이탈(SPD)도 낮아지며, 이는 사용자 공정성 향상이 공급자 공정성 향상과도 연결됨을 시사한다.
• Biased-MF는 정확도는 Most-popular 기반선과 유사하지만 UPD에서 유의미하게 뛰어난 성능을 보이며, 개인화가 사용자 측 노출 편향을 감소시킴을 보여준다.
• Most-popular 알고리즘은 정확도는 비슷한 수준이지만 UPD와 SPD가 높아, 인기 있는 아이템과 공급자에 대한 과도한 노출을 보이며 강한 편향을 나타낸다.
• 카탈로그 커버리지와 SPD 간에 상관관계가 없으며, 높은 아이템 커버리지가 있는 알고리즘도 여전히 덜 인기 있는 공급자의 노출 불균형을 보일 수 있음을 시사한다.
• 정확도와 공정성 메트릭 간 직접적인 상관관계가 없으며, 높은 정확도가 노출 캘리브레이션 향상과 동일시되지 않으며, 반대로도 마찬가지다.
• 무작위 추천은 SPD를 향상시키지만 정확도를 극도로 낮추므로, 실세계 구현에서 정확도와 공정성 간의 트레이드오프를 명확히 보여준다.