[논문 리뷰] Popularity Bias in Recommendation: A Multi-stakeholder Perspective

Himan Abdollahpouri|arXiv (Cornell University)|2020. 08. 19.

Recommender Systems and Techniques참고 문헌 165인용 수 19

한 줄 요약

이 논문은 추천 시스템 평가를 위한 다중 이해관계자 프레임워크를 제안하며, 인기 편향과 사용자 및 아이템 공급자에 미치는 영향에 초점을 맞춘다. 인-프로세싱 및 포스트-프로세싱 기법을 통해 인기 편향을 완화하는 세 가지 알고리즘(RG, XQ, CP)을 제안하며, 표준 공정성 지표가 종종 실제 이해관계자 성능을 반영하지 못함을 입증한다. 특히 사용자 만족도와 공급자 공정성의 균형을 고려할 때 그러한 지표의 한계를 드러낸다.

ABSTRACT

Traditionally, especially in academic research in recommender systems, the focus has been solely on the satisfaction of the end-user. While user satisfaction has, indeed, been associated with the success of the business, it is not the only factor. In many recommendation domains, there are other stakeholders whose needs should be taken into account in the recommendation generation and evaluation. In this dissertation, I describe the notion of multi-stakeholder recommendation. In particular, I study one of the most important challenges in recommendation research, popularity bias, from a multi-stakeholder perspective since, as I show later in this dissertation, it impacts different stakeholders in a recommender system. Popularity bias is a well-known phenomenon in recommender systems where popular items are recommended even more frequently than their popularity would warrant, amplifying long-tail effects already present in many recommendation domains. Prior research has examined various approaches for mitigating popularity bias and enhancing the recommendation of long-tail items overall. The effectiveness of these approaches, however, has not been assessed in multi-stakeholder environments. In this dissertation, I study the impact of popularity bias in recommender systems from a multi-stakeholder perspective. In addition, I propose several algorithms each approaching the popularity bias mitigation from a different angle and compare their performances using several metrics with some other state-of-the-art approaches in the literature. I show that, often, the standard evaluation measures of popularity bias mitigation in the literature do not reflect the real picture of an algorithm's performance when it is evaluated from a multi-stakeholder point of view.

연구 동기 및 목표

• 최종 사용자 만족도에만 초점을 맞춘 추천 시스템 연구의 격차를 보완하기 위해 다중 이해관계자 평가 프레임워크를 도입한다.
• 인기 편향이 사용자(왜곡된 추천을 통해)와 공급자(노출의 불균형을 통해)에 미치는 영향을 조사한다.
• 다양한 이해관계자의 필요를 고려하여 인기 편향을 완화하는 알고리즘을 개발하고 평가한다.
• 표준 인기 편향 지표의 타당성을 도전하며, 이러한 지표가 이해관계자 간 진정된 성능을 반영하지 못하는 경우가 많음을 보여준다.
• 인기 편향과 그룹 기반 추천의 불균형과 같은 다른 형태의 부정확성 간의 관계를 탐색한다.

제안 방법

• 사용자 선호도와 공급자 인기 정도를 공정성의 별개 차원으로 명시적으로 모델링하는 다중 이해관계자 추천 프레임워크를 제안한다.
• 사용자 선호도 모델링을 조정하여 인기 있는 아이템에 대한 과도한 의존도를 줄이는 모델 기반의 인-프로세싱 방법인 RG를 도입한다.
• 기본 모델을 변경하지 않고 추천 순서를 재정렬하여 장꼬리 아이템의 노출을 향상시키는 포스트-프로세싱 기법인 XQ와 CP를 개발한다.
• 이해관계자 그룹을 정의하고 그들 간의 공정성 수준을 측정하기 위해 아이템 카테고리, 공급자 인기 정도, 사용자 관심사의 삼중 그룹화 전략을 사용한다.
• 인기 정도 캘리브레이션, 공급자 공정성, 사용자 선호도 일치도와 같은 지표를 활용해 알고리즘 성능을 이해관계자 간에 평가한다.
• 실세계 데이터셋을 사용해 제안된 방법을 최신 기술과 비교하며, 총합 지표보다 이해관계자별 성과에 중점을 둔다.

실험 결과

연구 질문

• RQ1 다중 이해관계자 관점에서 인기 편향은 추천 시스템에서 사용자 만족도와 공급자 노출에 어떻게 영향을 미치는가?
• RQ2 표준 인기 편향 완화 지표는 다양한 사용자 및 공급자 그룹 간 알고리즘의 실제 성능을 어느 정도 반영하는가?
• RQ3 사용자 캘리브레이션 향상을 위한 알고리즘 설계가 간접적으로 저조한 인기의 공급자에 대한 공정성 향상에 기여할 수 있는가?
• RQ4 인기 편향과 보호 그룹의 부족한 표현과 같은 다른 형태의 부정확성 간의 관계는 어떠한가?
• RQ5 전처리, 인-프로세싱, 포스트-프로세싱 등의 다양한 알고리즘 접근 방식이 종합적으로 평가되었을 때 이해관계자 간 편향 완화에 얼마나 효과적인가?

주요 결과

• 표준 인기 편향 지표는 이해관계자, 특히 공급자 공정성과 사용자 캘리브레이션 측면에서 알고리즘의 진정한 영향을 반영하지 못하는 경우가 많다.
• 인-프로세싱 방법인 RG 알고리즘은 사용자 선호도 캘리브레이션을 크게 향상시키며, 인기 정도에 대한 사용자 관심과의 일치를 통해 간접적으로 공급자 공정성을 향상시킨다.
• 포스트-프로세싱 방법인 XQ와 CP는 사용자 만족도를 훼손하지 않은 채 장꼬리 아이템의 노출을 효과적으로 증가시키며, 기준 방법 대비 공급자 공정성 지표에서 뛰어난 성능을 보였다.
• 아이템의 인기 정도와 그 공급자의 평균 인기 정도 사이에 강한 정적 상관관계가 존재하여, 인기 정도 캘리브레이션 향상이 간접적으로 공급자 정의성 지원에 기여함을 의미한다.
• 본 연구는 인기 편향이 다른 형태의 부정확성과 연결되어 있음을 드러내며, 특히 인기 아이템에 관심이 낮은 사용자에게서의 왜곡된 캘리브레이션 문제를 확인한다. 이는 편향 완화가 더 넓은 공정성 이점을 가져올 수 있음을 시사한다.
• 아이템의 인기 정도가 시간에 따라 어떻게 변화하는지 현재 분석에서 반영되지 않았으며, 향후 연구에서는 시간 인지 공정성 평가가 필요함을 시사한다.