[논문 리뷰] Exploring Artist Gender Bias in Music Recommendation

Dougal Shakespeare, Lorenzo Porcaro외 2명|arXiv (Cornell University)|2020. 09. 03.

Recommender Systems and Techniques참고 문헌 39인용 수 24

한 줄 요약

이 연구는 LFM-1b 및 LFM-360k 두 개의 Last.fm 데이터셋을 기반으로 협업 필터링(CF)을 사용하여 음악 추천 시스템의 성별 편향을 조사한다. CF 알고리즘은 사용자 선호도에 존재하는 사전 성별 편향을 강화하며, 메모리 기반 UserKNNAvg에 비해 모델 기반 NMF가 더 낮은 편향 격차를 보여, 알고리즘 설계가 추천 시 성별 표현에 상당한 영향을 미친다.

ABSTRACT

Music Recommender Systems (mRS) are designed to give personalised and meaningful recommendations of items (i.e. songs, playlists or artists) to a user base, thereby reflecting and further complementing individual users' specific music preferences. Whilst accuracy metrics have been widely applied to evaluate recommendations in mRS literature, evaluating a user's item utility from other impact-oriented perspectives, including their potential for discrimination, is still a novel evaluation practice in the music domain. In this work, we center our attention on a specific phenomenon for which we want to estimate if mRS may exacerbate its impact: gender bias. Our work presents an exploratory study, analyzing the extent to which commonly deployed state of the art Collaborative Filtering(CF) algorithms may act to further increase or decrease artist gender bias. To assess group biases introduced by CF, we deploy a recently proposed metric of bias disparity on two listening event datasets: the LFM-1b dataset, and the earlier constructed Celma's dataset. Our work traces the causes of disparity to variations in input gender distributions and user-item preferences, highlighting the effect such configurations can have on user's gender bias after recommendation generation.

연구 동기 및 목표

• 음악 추천 시스템(mRS)의 협업 필터링(CF) 알고리즘이 사용자 선호도에 존재하는 사전 성별 편향을 강화하는지 조사하기 위해.
• LFM-1b 및 LFM-360k 두 개의 대규모 Last.fm 청취 이벤트 데이터셋을 사용하여 mRS에서의 편향 격차를 평가하기 위해.
• 메모리 기반(UserKNNAvg)과 모델 기반(NMF)의 서로 다른 CF 알고리즘들이 성별 편향 전파에 미치는 영향을 비교하기 위해.
• 극단적인 사용자 선호도(예: 여성 아티스트에 대한 강한 선호도)가 추천에서 편향 강화를 유도하는지 탐색하기 위해.
• 알고리즘 편향의 사회기술적 영향, 특히 여성 아티스트의 부재 또는 저조한 표현과 관련하여 강조하기 위해.

제안 방법

• 최근에 제안된 편향 격차 지표를 적용하여 CF 알고리즘이 추천에서 성별 편향을 얼마나 강화하거나 감소시키는지 정량화한다.
• 공개된 Last.fm 데이터셋 두 개를 사용: LFM-1b(10억 개의 상호작용)와 LFM-360k(360,000명의 사용자)로, 다양한 사용자 선호도 분포 하에서 편향을 평가한다.
• 아티스트와 사용자를 이진 성별 카테고리(남성/여성)로 분류하여 추천 결과의 성별 기반 편향을 측정한다.
• 두 가지 실험을 실시: 균형 잡힌 사용자 선호도 조건과 여성 아티스트를 선호하는 극단적인 선호도 조건을 설정하여 편향 강화를 테스트한다.
• 동일한 조건에서 메모리 기반(UserKNNAvg)과 모델 기반(NMF) 협업 필터링 알고리즘을 평가한다.
• 편향 격차를 입력 사용자 선호도와 출력 추천 간의 편향 차이로 측정하여 알고리즘의 공정성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 음악 추천 시스템의 협업 필터링 알고리즘이 사용자 선호도에 존재하는 사전 성별 편향을 얼마나 강화하는가?
• RQ2 메모리 기반 대비 모델 기반 CF 알고리즘의 선택이 추천에서 성별 편향 전파에 어떤 영향을 미치는가?
• RQ3 여성 아티스트에 대한 극단적인 사용자 선호도가 추천에서 편향 격차를 증가시키는가? 만약 그렇다면, 이는 알고리즘 간에 어떻게 분포되는가?
• RQ4 LFM-1b와 LFM-360k 데이터셋은 편향 격차 결과 측면에서 어떻게 다름을 보이며, 이는 데이터 스케일과 분포에 대해 어떤 함의를 갖는가?
• RQ5 편향 강화를 줄이기 위해 추천 시스템을 설계할 수 있는가? 어떤 알고리즘 접근 방식이 성별 격차를 최소화하는 데 가장 유망한가?

주요 결과

• 협업 필터링 알고리즘은 음악 추천에서 기존 성별 편향을 강화하며, LFM-1b 및 LFM-360k 데이터셋 모두에서 편향 격차가 크게 증가한다.
• 실험 1(균형 잡힌 선호도)에서 NMF는 절대 편향 격차 증가가 가장 낮았고, UserKNNAvg는 특히 LFM-1b에서 편향을 가장 크게 강화했다.
• 실험 2(여성 아티스트 선호도가 극단적인 경우)에서 여성 아티스트에 대해 편향 격차는 양수로, 남성 아티스트에 대해서는 음수로 나타나, 편향 전파가 단방향이 아님을 시사한다.
• NMF는 UserKNNAvg에 비해 더 높은 커버리지와 추천 다양성을 확보하여, 추천에서 성별 기반 집중 현상이 감소함을 나타낸다.
• LFM-1b 데이터셋은 LFM-360k에 비해 더 강하게 편향 격차가 증폭되었으며, 이는 대규모 데이터에서 편향 전파 효과가 더 강할 수 있음을 시사한다.
• 추천 과정에서 새로운 편향이 발생한 근거는 발견되지 않았으며, 오히려 알고리즘이 주로 입력 데이터의 기존 편향을 강화함을 확인하였다.