[논문 리뷰] Artist and style exposure bias in collaborative filtering based music recommendations

Andrés Ferraro, Dmitry Bogdanov외 2명|arXiv (Cornell University)|2019. 11. 12.

Music and Audio Processing참고 문헌 14인용 수 8

한 줄 요약

이 연구는 밀리언 송 데이터셋과 라스트.피엠 태그를 사용하여 행렬 분해 기반 협업 필터링 기반 음악 추천 시스템에서 예술가 및 음악 스타일 노출 편향을 조사한다. 연구 결과, 시스템이 인기 편향을 악화시켜 장꼬리(롱테일) 노출을 줄이고 몇몇 주요 예술가에게 추천이 집중되며, 30회의 피드백 반복 기간 동안 커버리지가 40%에서 20%로 감소하고 지니 계수는 0.95에서 0.98로 상승함을 확인하였다.

ABSTRACT

Algorithms have an increasing influence on the music that we consume and understanding their behavior is fundamental to make sure they give a fair exposure to all artists across different styles. In this on-going work we contribute to this research direction analyzing the impact of collaborative filtering recommendations from the perspective of artist and music style exposure given by the system. We first analyze the distribution of the recommendations considering the exposure of different styles or genres and compare it to the users' listening behavior. This comparison suggests that the system is reinforcing the popularity of the items. Then, we simulate the effect of the system in the long term with a feedback loop. From this simulation we can see how the system gives less opportunity to the majority of artists, concentrating the users on fewer items. The results of our analysis demonstrate the need for a better evaluation methodology for current music recommendation algorithms, not only limited to user-focused relevance metrics.

연구 동기 및 목표

• 사용자 청취 행동과 비교해 협업 필터링 추천이 예술가와 음악 스타일의 노출에 어떤 영향을 미치는지 분석하기.
• 추천 시스템이 음악 소비에서 기존의 인기 불균형을 강화하는지 조사하기.
• 장기적인 피드백 루프를 시뮬레이션하여 예술가 노출과 추천 다양성에 대한 누적 영향 평가하기.
• 사용자 관련성은 우선시하지만 공정성과 예술가 노출의 다양성은 간과하는 현재 평가 지표의 한계를 부각하기.
• 덜 인기 있는 예술가와 장르의 공정성과 표현을 포함한 개선된 평가 방법론을 제안하기.

제안 방법

• 에코 넛 태스트 프로파일 서브셋과 밀리언 송 데이터셋을 사용하여 매트릭스 분해를 적용해 사용자당 10首 추천 생성.
• 음악 태그(예: 장르, 분위기)를 Last.fm 데이터셋에서 추출해 스타일 수준 분석을 위해 추천 및 사용자 청취 행동에 매핑.
• 30회의 반복 동안 추천 곡을 새로운 사용자 상호작용로 간주해 모델을 반복적으로 재학습함으로써 피드백 루프 시뮬레이션.
• 각 예술가의 사용자 노출 불균형 정도를 평가하기 위해 지니 계수를 사용해 분포 공정성 측정.
• 모든 사용자에서 적어도 한 번 이상 추천을 받은 유니크 예술가 비율로 추천 커버리지 계산.
• 원본 재생 수 기반 인기 순위(상위 5개, 5–2,000개, 2,000–50,000개)로 태그와 예술가를 그룹화해 인기 수준 간 추천 편향 비교.

실험 결과

연구 질문

• RQ1 추천된 음악 스타일의 분포가 사용자 실제 청취 행동의 인기 수준과 비교해 어떻게 다른가?
• RQ2 협업 필터링 추천이 사용자 청취 데이터에 이미 존재하는 인기 편향을 어느 정도 악화시키는가?
• RQ3 반복적인 추천이 피드백 루프에서 아티스트 노출의 다양성에 장기적으로 어떤 영향을 미치는가?
• RQ4 모의 피드백 환경에서 시스템의 아티스트 노출 커버리지와 지니 계수는 시간이 지남에 따라 어떻게 변화하는가?
• RQ5 가장 인기 있는 아티스트들이 반복적인 추천 사이클을 통해 비례하지 않게 더 많은 노출을 얻는가?

주요 결과

• 시스템은 주요 태그(예: 인기 있는 장르)를 초기 청취 빈도보다 14% 높은 비율로 추천하지만, 장꼬리 태그(2,000–50,000회 재생)는 추천에서 9.4% 낮게 나타남.
• 예술가의 경우, 상위 5개 예술가의 추천 비율은 1.57%로 초반 청취 행동의 0.62%보다 높아 인기 편향이 뚜렷함.
• 30회의 피드백 루프 반복 기간 동안 아티스트 추천 분포의 지니 계수는 0.95에서 0.98로 상승하여 소수의 예술가에게 집중됨.
• 동일 기간 동안 추천 커버리지가 40%에서 20%로 감소하여 최종 반복 시 80%의 예술가가 추천을 받지 못함.
• 초기 데이터셋에서 상위 4개 곡은 10회의 피드백 반복 후 청취자 수가 약 50,000명에서 100,000~135,000명으로 증가했으며, 이는 초반에 50,000~100,000명에게만 추천된 바 있음.
• 시스템의 추천 행동은 기존의 인기 불균형을 강화하여 덜 인기 있는 예술가와 스타일의 기회를 줄이며, 특히 장꼬리 부문에서 뚜렷함.