[논문 리뷰] Addressing the Multistakeholder Impact of Popularity Bias in Recommendation Through Calibration

Himan Abdollahpouri, Masoud Mansoury외 2명|arXiv (Cornell University)|2020. 07. 23.

Recommender Systems and Techniques참고 문헌 35인용 수 10

한 줄 요약

이 논문은 추천 시스템에서 인기 편향을 완화하기 위해 사용자 개인의 선호 프로파일과 추천 항목의 인기도를 일치시키는 '인기도 校정' 방법을 제안한다. 사용자 프로파일의 인기도 분포와 추천 결과의 인기도를 매칭하는 캘리브레이션 지표를 최적화함으로써 CP 알고리즘은 장꼬리 항목의 노출을 향상시키고 간접적으로 공급자 정의를 향상시켜 최신 기술 수준의 방법보다 다기여자 평가에서 뛰어난 성능을 발휘한다.

ABSTRACT

Popularity bias is a well-known phenomenon in recommender systems: popular items are recommended even more frequently than their popularity would warrant, amplifying long-tail effects already present in many recommendation domains. Prior research has examined various approaches for mitigating popularity bias and enhancing the recommendation of long-tail items overall. The effectiveness of these approaches, however, has not been assessed in multistakeholder environments where in addition to the users who receive the recommendations, the utility of the suppliers of the recommended items should also be considered. In this paper, we propose the concept of popularity calibration which measures the match between the popularity distribution of items in a user's profile and that of the recommended items. We also develop an algorithm that optimizes this metric. In addition, we demonstrate that existing evaluation metrics for popularity bias do not reflect the performance of the algorithms when it is measured from the perspective of different stakeholders. Using music and movie datasets, we empirically show that our approach outperforms the existing state-of-the-art approaches in addressing popularity bias by calibrating the recommendations to users' preferences. We also show that our proposed algorithm has a secondary effect of improving supplier fairness.

연구 동기 및 목표

• 인기 편향의 다기여자 영향을 다루기 위해, 이는 사용자뿐 아니라 항목 공급자에게도 영향을 미친다.
• 기존의 인기 편향 평가 지표에서 기여자별 성능을 반영하지 못하는 한계를 규명한다.
• 사용자의 실제 선호 분포와 추천 인기도를 일치시키는 캘리브레이션 기반 접근법을 개발한다.
• 개선된 사용자 수준의 인기도 캘리브레이션은 명시적인 최적화 없이도 간접적으로 공급자 정의를 향상시킬 수 있음을 입증한다.
• 정밀도, 커버리지, 정의성 등의 다기여자 지표를 포함한 다각도의 데이터셋(MovieLens, last.fm)에서 제안된 방법을 평가한다.

제안 방법

• 사용자의 평가 프로파일의 인기도 분포와 추천 항목의 인기도 간 일치도를 측정하는 지표로 '인기도 캘리브레이션' 개념을 도입한다.
• 정밀도와 캘리브레이션의 균형을 맞추기 위해 가중치가 부여된 목적 함수를 최적화하는 캘리브레이션 기반 재순서 정렬(CP) 알고리즘을 제안한다.
• 재순서 정렬 과정에서 정밀도(정확도)와 인기도 캘리브레이션 간의 트레이드오프를 제어하기 위해 하이퍼파rameter λ를 사용한다.
• 기본 알고리즘(예: Item-CF)의 출력을 수정하여 사용자별 인기도 선호도와의 일치도를 향상시키는 재순서 정렬 전략을 적용한다.
• 실제 세계 데이터셋인 MovieLens 1M과 last.fm을 대상으로 성능을 평가하여 다양한 기여자 관점에서 분석한다.
• 공급자 정의를 두 가지 정의로 측정한다: 공급자 간 노출 이질성과 추천 결과의 공급자 인기도 일치도.

실험 결과

연구 질문

• RQ1 인기 편향은 전체 시스템 정확도를 넘어서 사용자, 공급자, 항목 그룹 등 다양한 기여자에게 어떤 영향을 미치는가?
• RQ2 기존의 표준 평가 지표가 인기 편향의 다기여자 영향을 충분히 반영하지 못하는 정도는 어느 정도인가?
• RQ3 캘리브레이션 기반 재순서 정렬 접근법은 정밀도를 희생시키지 않고도 사용자 수준의 인기도 일치도와 공급자 정의를 동시에 향상시킬 수 있는가?
• RQ4 제안된 CP 알고리즘은 하이퍼파rameter λ에 얼마나 민감하며, 정밀도, 커버리지, 캘리브레이션 간의 트레이드오프는 어떻게 되는가?
• RQ5 사용자 수준의 인기도 캘리브레이션 향상은 간접적으로 공급자 정의를 향상시키는가? 만약 그렇다면 어떤 조건에서 그러한 효과가 나타나는가?

주요 결과

• CP 알고리즘은 정밀도 손실(≈0.001)이 거의 없이 커버리지, 다양성, 인기도 캘리브레이션을 크게 향상시키며, 특히 λ=0.2일 때 두드러진 성과를 보였다.
• last.fm 데이터셋에서 CP 알고리즘은 모든 λ 값에서 정밀도를 유지하거나 약간 향상시키며, 캘리브레이션과 정의성 지표에서 두드러진 개선을 보였다.
• 제안된 방법은 특히 단두 항목의 과잉 표현을 줄이는 데 있어 최신 기술 수준의 접근법보다 다기여자 평가에서 뛰어난 성능을 발휘했다.
• 인기도 캘리브레이션은 측정 가능한 부가적 이점으로 이어지며, 공급자 간 노출 이질성이 감소함으로써 공급자 정의 향상이 확인되었다.
• 항목 인기도와 공급자 인기도 간의 상호작용은 정서적 상관관계를 형성하여, 더 나은 캘리브레이션은 간접적으로 공급자 정의를 향상시킨다.
• 결과적으로 정밀도와 같은 기존 지표만으로는 사용자, 항목, 공급자 그룹 전반에 걸친 인기 편향의 진정한 영향을 파악하기에는 부족함을 보였다.