[논문 리뷰] A Survey on Popularity Bias in Recommender Systems

Anastasiia Klimashevskaia, Dietmar Jannach외 2명|arXiv (Cornell University)|2023. 08. 02.

Recommender Systems and TechniquesComputer Science참고 문헌 183인용 수 3

한 줄 요약

이 종합 검토는 추천 시스템에서의 인기 편향에 대해 포괄적인 분석을 제공하며, 그 원인, 탐지 방법, 완화 기법을 다룬다. 현재 연구는 실질적인 검증이 제한된 오프라인 실험에 크게 기반하고 있으며, 실무적 영향력과 공정성 향상을 위해 더 많은 응용 분야별 평가와 인간이 개입하는 연구가 필요하다고 지적한다.

ABSTRACT

Recommender systems help people find relevant content in a personalized way. One main promise of such systems is that they are able to increase the visibility of items in the long tail, i.e., the lesser-known items in a catalogue. Existing research, however, suggests that in many situations todays recommendation algorithms instead exhibit a popularity bias, meaning that they often focus on rather popular items in their recommendations. Such a bias may not only lead to the limited value of the recommendations for consumers and providers in the short run, but it may also cause undesired reinforcement effects over time. In this paper, we discuss the potential reasons for popularity bias and review existing approaches to detect, quantify and mitigate popularity bias in recommender systems. Our survey, therefore, includes both an overview of the computational metrics used in the literature as well as a review of the main technical approaches to reduce the bias. Furthermore, we critically discuss todays literature, where we observe that the research is almost entirely based on computational experiments and on certain assumptions regarding the practical effects of including long-tail items in the recommendations.

연구 동기 및 목표

• 추천 시스템에서 인기 편향의 근본 원인과 표현 방식을 분석하고, 특히 이미 인기 있는 항목을 강화하는 데 초점을 맞춘다.
• 인기 편향을 탐지하고 정량화하기 위해 사용되는 기존의 계산적 지표와 평가 프로토콜을 검토한다.
• 문헌에서 제안된 기술적 접근법을 검토하여 인기 편향을 완화하고 추천의 다양성과 공정성을 증진한다.
• 현재 연구 관행을 비판적으로 평가하며, 오프라인 실험에 대한 과도한 의존과 실세계 검증 부족을 강조한다.
• 특히 응용 분야별 평가, 사용자 중심 실험, 종단적 현장 연구의 필요성을 포함한 연구 격차를 규명한다. 이는 실무적 관련성을 향상시키기 위함이다.

제안 방법

• 인기 편향에 관한 학술 논문에 대한 체계적 문헌 검토를 수행하며, 정의, 평가 지표, 완화 기법에 중점을 둔다.
• 계산적 측정 기준(예: 인기 편향, 다양성, 공정성 지표(예: 지니 계수, 허피니할-하이어시만 지수))에 따라 평가 지표를 분류한다.
• 재순서, 손실 함수 수정, 데이터 증강을 포함한 기술적 완화 전략을 분석하여 인기 항목에 대한 과도한 의존도를 감소시킨다.
• 기존 실험 설정을 평가하며, 오프라인 벤치마킹의 지배적 위치와 연구 간 표준화된 프로토콜 부족을 강조한다.
• 장기적인 인기 편향의 강화 효과를 분석하기 위해 시뮬레이션 및 종단적 모델링을 활용한다.
• 다양한 방법론을 도입할 것을 촉구하며, 인간이 개입하는 실험과 실세계 현장 연구를 통해 실제 사용자 영향을 평가할 것을 제안한다.

Figure 1 : Biases and the Feedback Loop of Recommendation, inspired by [ 36 ] .

실험 결과

연구 질문

• RQ1 추천 시스템에서 인기 편향의 주요 원인과 정의는 무엇이며, 연구 간에 어떻게 다를 수 있는가?
• RQ2 인기 편향을 탐지하고 정량화하기 위해 가장 흔히 사용되는 계산적 지표는 무엇이며, 문헌 전반에서 일관된가?
• RQ3 기존 기술적 접근법은 인기 편향을 얼마나 효과적으로 완화하는가? 그리고 실세계 구현에서의 한계는 무엇인가?
• RQ4 현재 평가 관행은 어느 정도 오프라인 실험에 의존하고 있으며, 이는 연구 결과의 타당성과 실무적 관련성에 어떤 영향을 미치는가?
• RQ5 사용자, 콘텐츠 제공자, 플랫폼 생태계에 대한 인기 편향의 실세계 영향을 더 잘 이해하기 위해 어떤 방법론적 개선이 필요한가?

주요 결과

• 인기 편향은 추천 시스템에서 널리 관찰되며, 알고리즘이 이미 인기 있는 항목을 과도하게 추천함으로써 다양성이 감소하고 '부자가 더 부자가 되는' 효과를 강화한다.
• 문헌이 증가하고 있음에도 불구하고 대부분의 연구는 표준화된 데이터셋을 사용한 오프라인 실험에 의존하며, 실세계 검증이나 사용자 인식 연구는 제한적이다.
• 지니 계수, 허피니할-하이어시만 지수, 인기 편향 등 다양한 평가 지표가 사용되고 있지만, 임계값이나 표준 프로토콜에 대한 합의가 없다.
• 연구 간 재현성 부족과 일관되지 않은 데이터 분할 방법은 서로 다른 접근법 간 비교와 진전을 저해한다.
• 현재 지표가 실세계 가치나 공정성 문제를 잘 반영하지 못하므로, 이해관계자 영향을 고려한 응용 분야별 평가 프레임워크가 절실하다.
• 향후 연구는 단지 계산적으로 효과적인 것이 아니라 실무적으로 영향력 있는 완화 전략을 확보하기 위해 통합적인 접근법, 즉 인간이 개입하는 실험과 현장 연구로 전환해야 한다.

Figure 2 : Literature collection methodology.