[논문 리뷰] Unfair Exposure of Artists in Music Recommendation

Himan Abdollahpouri, Robin Burke외 1명|arXiv (Cornell University)|2020. 03. 25.

Music and Audio Processing참고 문헌 9인용 수 5

한 줄 요약

이 논문은 음악 추천 알고리즘에서의 인기 편향이 아티스트, 특히 니치 및 메인스트림 이하의 아티스트에 대한 공정하지 않은 노출을 초래하는 방식을 조사한다. Last.fm 데이터셋과 여러 알고리즘을 사용하여 ΔGAP를 통해 불공정성을 정량화한 결과, 주류 아티스트는 과도하게 추천되지만 니치 아티스트는 비록 무작위 모델이 아니더라도 체계적으로 억압됨을 확인하였다.

ABSTRACT

Fairness in machine learning has been studied by many researchers. In particular, fairness in recommender systems has been investigated to ensure the recommendations meet certain criteria with respect to certain sensitive features such as race, gender etc. However, often recommender systems are multi-stakeholder environments in which the fairness towards all stakeholders should be taken care of. It is well-known that the recommendation algorithms suffer from popularity bias; few popular items are over-recommended which leads to the majority of other items not getting proportionate attention. This bias has been investigated from the perspective of the users and how it makes the final recommendations skewed towards popular items in general. In this paper, however, we investigate the impact of popularity bias in recommendation algorithms on the provider of the items (i.e. the entities who are behind the recommended items). Using a music dataset for our experiments, we show that, due to some biases in the algorithms, different groups of artists with varying degrees of popularity are systematically and consistently treated differently than others.

연구 동기 및 목표

• 사용자뿐만 아니라 아이템 제공자인 아티스트의 관점에서 인기 편향의 영향을 조사하기 위해.
• 음악 스트리밍 데이터의 기존 인기 불균형이 추천 알고리즘이 어떻게 악화되는지 정량화하기 위해.
• 실제 청취자 잠재력 대비 아티스트의 기대 노출도를 기준으로 공정성을 평가하기 위해.
• 다양한 인기 수준의 아티스트에 대해 UserKNN, NMF, Random, Most-pop 등의 다수 추천 알고리즘을 비교하여 그 공정성에 대해 평가하기 위해.
• 다중 이해관계자 추천 시스템에서 아이템 제공자에 대한 공정성 측정 및 평가 프레임워크를 제안하기 위해.

제안 방법

• 청취 빈도를 기준으로 아티스트를 세 그룹으로 분류: High-P(메인스트림), Mid-P(중간), Low-P(니치).
• GAP(G) = Σφ(a)/|G| 공식을 사용해 각 그룹의 그룹 평균 인기도(GAP)를 계산함. 여기서 φ(a)는 아티스트 a의 재생 수이다.
• 불공정성은 ΔGAP(G) = (GAP(G)ₜ - GAP(G)ₖ)/GAP(G)ₖ로 측정함. 이는 추천 노출(r)을 데이터 분포(d)와 비교함.
• UserKNN, NMF, UserItemAvg, Random, Most-pop의 다섯 알고리즘을 적용하여 추천을 생성하고 ΔGAP 값을 계산함.
• Last.fm 데이터셋(Kowald et al.)을 사용하여 아티스트 청취 이력 데이터를 기반으로 다양한 인기 수준의 아티스트에 대한 알고리즘 행동을 평가함.
• 모든 알고리즘에 걸쳐 아티스트 그룹의 과잉 또는 과소 추천 패턴을 식별하기 위해 결과를 종합 분석함.

실험 결과

연구 질문

• RQ1 다양한 추천 알고리즘이 인기 수준이 다른 아티스트의 노출에 어떻게 영향을 미치는가?
• RQ2 기존 알고리즘이 훈련 데이터에 존재하는 인기 편향을 어느 정도 악화시키는가?
• RQ3 기대 청취자 잠재력에서의 편차로 측정했을 때 아티스트의 노출 불공정성 정도는 어떠한가?
• RQ4 Random 및 Most-pop 알고리즘이 아티스트 노출의 공정성 기준으로 어떻게 작용하는가?
• RQ5 현재 추천 시스템 설계가 니치 및 메인스트림 이하 아티스트에게 어떤 방식으로 불리하게 작용하는가?

주요 결과

• Mainstream 아티스트(High-P)는 Random를 제외한 모든 알고리즘에서 일관되게 과도하게 추천되며, Most-pop 및 UserKNN에서 가장 높은 ΔGAP 값을 기록함.
• 니치(Low-P) 및 중간 수준(Mid-P) 아티스트는 모든 알고리즘에서 체계적으로 과소 대응되며, 음수 ΔGAP 값을 보이며 억압됨을 나타냄.
• Random 알고리즘이 니치 아티스트에게 가장 우수한 성능을 보이며, 모든 아티스트를 동일하게 대우하지만, 데이터 불균형으로 인해 주류 아티스트는 여전히 과소 대응됨.
• Most-pop 알고리즘은 가장 극심한 불공정성을 보이며, 주류 아티스트의 과도한 추천과 니치 아티스트의 과소 추천을 극대화함.
• 비무작위 알고리즘인 NMF 및 UserKNN조차도 상당한 편향을 보이며, ΔGAP 값은 전체 아티스트의 99.9% (345K/353K)가 니치 그룹에 속해 있고 일관되게 과소 노출됨을 시사함.
• 결과적으로 인기 편향은 데이터에만 존재하는 것이 아니라 추천 알고리즘이 이를 악화시켜 아티스트의 노출에 구조적 불평등을 초래함을 입증함.